確率的重み付け平均法のラージバッチ学習における有用性の検証
Search this article
Description
近年の深層ニューラルネットワークモデルの学習には膨大なパラメータやデータを用いるため、学習時間が増加する傾向にあり、学習の高速化が喫緊の課題である。単純に一度に用いるデータ量を増やすことで高速化を図るラージバッチ学習では、スモールバッチ学習でのNoiseの影響が少なくなるため、汎化性能の低いSharpな解への収束へと陥ることが経験的に示されている。本研究では、モデルのパラメータを確率的に平均化する手法であるSWA(Stochastic Weight Averaging)をラージバッチ学習に適用することで、汎化性能劣化問題への改善効果を検証する。
Journal
-
- 第82回全国大会講演論文集
-
第82回全国大会講演論文集 2020 (1), 359-360, 2020-02-20
- Tweet
Keywords
Details 詳細情報について
-
- CRID
- 1050855522047735168
-
- NII Article ID
- 170000182367
-
- NII Book ID
- AN00349328
-
- Web Site
- http://id.nii.ac.jp/1001/00205202/
-
- Text Lang
- ja
-
- Article Type
- conference paper
-
- Data Source
-
- IRDB
- CiNii Articles