広域MPI用の局所性を考慮した接続管理とランク割当て

情報処理学会 Web Site 参考文献16件

書誌事項

タイトル別名
  • Locality-aware Connection Management and Rank Assignment for Wide-area MPI
  • コウイキ MPIヨウ ノ キョクショセイ オ コウリョシタ セツゾク カンリ ト ランク ワリアテ

この論文をさがす

説明

クラスタ間の接続数を制限し，直接通信できないプロセスのためにメッセージを中継する接続管理機構を提案する．また，二次割当て問題を解くことによって低通信オーバヘッドのランク割当てを見つける手法を提案する．提案手法はいずれも，短時間のプロファイリング実行から遅延と通信量に関する情報を取得することによって，煩雑な手動の設定をすることなく局所性を考慮した性能最適化を行う．これらの手法を用いてMC-MPIという広域環境用のMPIライブラリを実装して，4クラスタにまたがる256実ノード上でNAS Parallel Benchmarksを実行して性能評価を行った．その結果，10%のプロセス対でしか接続を確立しなくても全プロセス対で接続を確立した場合と同様もしくはそれ以上の性能が出た．また，局所性を考慮しない割当てを用いた場合より最大300%高い性能が出るランク割当てを見つけることができた．

We propose a connection management scheme that limits the number of inter-cluster connections and forwards messages for nodes that cannot communicate directly. We also propose a rank assignment scheme that finds rank-process mappings with low communication overhead by solving the Quadratic Assignment Problem. Our proposed methods perform locality-aware communication optimizations, and do so without tedious manual configuration by obtaining latency and traffic information from a short profiling run of the environment and the application. Using these methods, we implemented a wide area-enabled MPI library called MC-MPI, and evaluated its performance by running the NAS Parallel Benchmarks on 256 real nodes distributed across 4 clusters. MC-MPI was able to limit the number of node pairs that established connections to just 10% without suffering a performance penalty. Moreover, MC-MPI was able to find rank assignments that resulted in up to 300% better performance than locality-unaware assignments.

収録刊行物

参考文献 (16)*注記

もっと見る

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ