確率的重み付け平均法のラージバッチ学習における有用性の検証

情報処理学会

この論文をさがす

抄録

近年の深層ニューラルネットワークモデルの学習には膨大なパラメータやデータを用いるため、学習時間が増加する傾向にあり、学習の高速化が喫緊の課題である。単純に一度に用いるデータ量を増やすことで高速化を図るラージバッチ学習では、スモールバッチ学習でのNoiseの影響が少なくなるため、汎化性能の低いSharpな解への収束へと陥ることが経験的に示されている。本研究では、モデルのパラメータを確率的に平均化する手法であるSWA（Stochastic Weight Averaging）をラージバッチ学習に適用することで、汎化性能劣化問題への改善効果を検証する。

収録刊行物

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ