データ再配置機構を備えたBSPモデルに基づくデータ並列ミドルウェア

IPSJ Web Site

Bibliographic Information

Other Title
  • データ サイハイチ キコウ オ ソナエタ BSP モデル ニ モトズク データ ヘイレツ ミドルウェア
  • Data Parallel Middleware with a Data Relocation Mechanism Based on the BSP Model

Search this article

Abstract

データ再配置機構を備え，keyつきおよびkeyなしデータ要素を処理対象とするBulk Synchronous Parallel（BSP）モデルに基づくデータ並列ミドルウェアを開発し，スケーラビリティ性能評価を行った．BSPモデルでは，各サーバ上でデータがローカル処理されるため，サーバ間の負荷を平準化するにはデータの再配置が必要になる．本ミドルウェアは，データ要素間の独立性を利用することで，データ要素に対する並列計算実行中にもデータ要素単位での再配置を可能とする．3種類のアルゴリズム（EMアルゴリズム，K-means法，ロジスティック回帰学習）について性能評価した結果，上記非同期データ再配置方式は既存の同期データ再配置方式と比較して，データ再配置性能が最大37%向上することを確認した．また動的な負荷変動がある環境において，非同期データ再配置方式は同期データ再配置方式と比較して，計算性能が最大15.8%向上することを確認した．

We developed a data parallel middleware with a data relocation mechanism based on the Bulk Synchronous Parallel (BSP) model in which data elements with key and without key can be processed, and made evaluation for scalability. In the BSP model, data relocation is needed for load balancing between servers because data is processed locally on each server. This middleware enables to relocate each data element during parallel calculation for data elements by using independence between data elements. Performance evaluation for three algorithms (EM algorithm, the K-means method, logistic regression learning) shows the asynchronous data relocation method which is mentioned above is up to 37% faster than the existing synchronous data relocation method for data relocation, and shows the asynchronous data relocation method is up to 15.8% faster than the synchronous data relocation method for data processing on the environment with dynamic load fluctuation.

Journal

Keywords

Details 詳細情報について

Report a problem

Back to top