自然勾配学習法における Damping 項のスケジューリング
書誌事項
- タイトル別名
-
- Scheduling of Damping in Natural Gradient Method
説明
<p>自然勾配学習法の高速な近似手法の開発により、高い収束性を持つ二次最適化が深層学習においても用いられている。二次最適化においては、情報行列の逆行列計算が必要となるが、一般に深層学習の問題設定では情報行列は退化する。そのため、ヒューリスティックスとして、定数倍された単位行列を足し込む dampingと呼ばれる手法が用いられている。本研究では、Levenberg-Marquardt法による damping決定方法から着想を得て、dampingをスケジューリングする手法を提案し、その効果を検証した。</p>
収録刊行物
-
- 人工知能学会全国大会論文集
-
人工知能学会全国大会論文集 JSAI2022 (0), 1D1GS202-1D1GS202, 2022
一般社団法人 人工知能学会