分散ファイルシステムGPFSを用いたスケーラブルな非同期コピーの提案

分散ファイルシステムの同一ディレクトリを複数のノードが同時に更新する際，ファイルシステムの一貫性を保証するための排他制御による書き込み遅延が発生し，書き込み速度が向上しない，という問題が知られている．この問題は，複数のノードで大量のファイルを短時間に作成するスケールアウト NAS の非同期コピーにおいて，特に顕著に見られる．ディレクトリの更新などをスケーラブルに行えるよう，分散ファイルシステムを設計する方法が提案されてきたが，これらの方法は，その設計を取り入れたファイルシステムの使用を前提としていた．本稿では，使用するファイルシステムに依存せず，スケーラブルな非同期コピーを実現するために，分散ファイルシステムの排他制御による書き込み遅延とファイルサイズの関係に着目し，サイズの大きいファイル群はサイズが均等になるようにノード間でファイル転送処理の負荷を分散させ，サイズの小さいファイル群は同一ディレクトリごとに集めて同一ノードから転送する方法を提案する．本手法により，ファイル転送処理の負荷分散と書き込み遅延の解消を同時に実現できる．本手法を非同期コピーに適用することで，ノード数に応じてファイル転送速度が向上することを確認できた．

It is well known that write performance is not scalable if multiple nodes update the same directory in parallel on distributed file system. This is due to the fact that distributed file system forces exclusive access to the directory in order to maintain consistency. This problem appears prominently in asynchronous replication on scale-out NAS that creates a lot of files in a short period of time. There are some researches that propose scalable metadata operation on distributed file system, but these approaches force to use proposed file systems. In this paper, we propose to distribute large files among nodes based on file size, and assign small files in the same directory to the same node in order to implement scalable asynchronous replication that does not depend on file system. Our method enables workload distribution and resolves delayed write at the same time. By applying our method, we verified that the file transfer rate of asynchronous replication became scalable on our test environment.