ニューラルネットワークの適応的最適化手法におけるヘッセ行列のスペクトル解析

DOI

書誌事項

タイトル別名
  • Hessian spectral analysis for adaptive optimizers of neural networks

説明

<p>ニューラルネットワークの学習において、Adamをはじめとする適応的最適化手法はSGDよりも早く収束することで知られており、近年様々な深層学習タスクでよく利用される。その反面で、SGDよりも最終的な収束パラメータの汎化性能が悪いという報告も見られる。しかしながらその原因解明はまだ進んでいない。本研究ではこの問題に対するアプローチとして、損失関数におけるヘッセ行列の固有値分布（Hessian spectrum）を分析することで収束パラメータ付近での損失関数の形状によってパラメータの良し悪しを考察した。近年、このようにHessian spectrumを分析することで学習のメカニズムを解釈する研究が増えてきている。本研究では、ニューラルネットワーク学習後のパラメータ空間においてSGD方がAdamに比べて局所的に平坦な形状に収束することを、いくつかの実用的な深層学習モデルを用いて実験的に示した。</p>

収録刊行物

キーワード

詳細情報 詳細情報について

  • CRID
    1390566775143008128
  • NII論文ID
    130007857215
  • DOI
    10.11517/pjsai.jsai2020.0_4b3gs105
  • 本文言語コード
    ja
  • データソース種別
    • JaLC
    • CiNii Articles
  • 抄録ライセンスフラグ
    使用不可

問題の指摘

ページトップへ