パイプライン並列分散深層学習の一実装手法の評価

DOI 情報処理学会

書誌事項

タイトル別名
  • Evaluation of an Implementation Method for Pipeline Parallelism Distributed Deep Learning

この論文をさがす

抄録

本論文では，並列計算機におけるパイプライン並列分散深層学習の一実装手法の評価・分析を行う．パイプライン並列ではニューラルネットワークモデルを分割し，各プロセスに割り当てる．ハードウェア効率を向上させるため，ミニバッチを分割したマイクロバッチを用いて各プロセスの処理をオーバラップする．パイプライン並列の利点はマイクロバッチ処理のオーバラップによる高速化と，メモリ消費の分散である．本研究では，パイプライン並列におけるニューラルネットワークモデルの分割の記述方法を提案する．全結合層32層からなるシンプルなネットワークを用いてパイプライン並列の高速化の効果について分析を行う．VGG16とResNet50を用いて，複雑なモデルにおけるパイプライン並列の評価を行う．

In this paper, we evaluate and analyze an implementation method of pipeline parallelism distributed deep learning on parallel computers. In pipeline parallelism, a neural network model is partitioned and assigned to each process. To improve hardware efficiency, we use microbatches, which are divided minibatches, to overlap the processing of each process. The advantage of pipeline parallelism is that the overlapping of microbatch processes increases the speed and distributes the memory consumtion. In this study, we propose a method for describing the partitioning of neural network models in pipeline parallelism. We analyze the speedup effect of pipeline parallelism using a simple network with 32 fully connected layers. Using VGG16 and ResNet50, we evaluate the pipeline parallelism.

収録刊行物

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ