PCクラスタ間ファイル複製スケジューリング

情報処理学会 Web Site

書誌事項

タイトル別名
  • PC クラスタ カン ファイル フクセイ スケジューリング
  • Replication Scheduling for a Set of Files between PC Clusters

この論文をさがす

抄録

ネットワークの広帯域化にともない遠隔PCクラスタ間での大規模データ共有の要求が高まってきた．一方，効率的な大規模データ処理のためにPCクラスタのローカルディスクが積極的に用いられるようになってきた．その結果，PCクラスタ間における多数のローカルディスク間の効率的な並列ファイル転送が必要となってきた．本論文ではクラスタ間広域ファイル複製作成をグラフにより定式化し，その問題を解決するためのファイル複製選択問題・転送順序スケジューリングを線形計画法，貪欲法，リストスケジューリングにより求めるアルゴリズムを提案する．また，転送処理実行時に複製を作成することでより効率的なファイル転送を行うための複製作成スケジューリングアルゴリズムを提案する．これらをシミュレーションにより評価した結果，ファイルが特定のノードに偏って配置されていた場合で複製数が多い場合では線形計画法によるスケジューリングが良い性能を示していた．

Thanks to increases in wide-area network bandwidth, it is now possible to efficiently share data on a large scale. While network bandwidth has become wider, network data access is still significantly slower than using local disks because of enormous latency. Therefore in order to improve I/O performance each compute node should read data from its local disk as much as possible. In order to achieve this goal, we will need efficient and parallel file transfer mechanisms between compute nodes. Using graph theory to model wide-area file replication on PC clusters, we have developed new algorithms that improve I/O performance on PC clusters. In order to determine our file transfer strategy we developed two file replica selection algorithms; one based on a linear programming approach the other based on a greedy algorithm. We are also proposing a dynamic replica creation algorithm that increases throughput by more equally distributing work among the source cluster nodes. Our simulation results show the linear programming based replicate selection algorithm produces much better scheduling results than the greedy algorithm when the files are distributed very unevenly amongst the nodes.

収録刊行物

関連プロジェクト

もっと見る

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ