多層ニューラルネットワークのパラメータ初期化手法の修正

DOI Web Site
  • 中丸 智貴
    東京大学工学部　計数工学科
  • 合原 一幸
    東京大学生産技術研究所　情報・エレクトロニクス系部門
  • 奥 牧人
    東京大学生産技術研究所　情報・エレクトロニクス系部門

書誌事項

タイトル別名
  • Modification of Initialization Technique for Multilayer Neural Network
  • タソウ ニューラルネットワーク ノ パラメータ ショキカ シュホウ ノ シュウセイ

この論文をさがす

説明

近年ディープニューラルネットワークが多くの成果とともに再注目され, ディープラーニングに関する研究が改めて活発になっている. 特に多層ニューラルネットワークでは 学習に誤差逆伝播法が用いられるが, この手法は初期パラメータに非常に影響を受けやすいことも知られている. 本研究ではまずReLU （Rectified Linear Unit） を用いた 多層ニューラルネットワークにおいてXavier Initialization の改善を行った. さらに高次元数のニューラルネットワークについてもXavier Initialization の修正を行った.

収録刊行物

  • 生産研究

    生産研究 68 (3), 261-264, 2016

    東京大学生産技術研究所

詳細情報 詳細情報について

問題の指摘

ページトップへ