Modification of Initialization Technique for Multilayer Neural Network

DOI Web Site
  • NAKAMARU Tomoki
    東京大学工学部　計数工学科
  • AIHARA Kazuyuki
    東京大学生産技術研究所　情報・エレクトロニクス系部門
  • OKU Makito
    東京大学生産技術研究所　情報・エレクトロニクス系部門

Bibliographic Information

Other Title
  • 多層ニューラルネットワークのパラメータ初期化手法の修正
  • タソウ ニューラルネットワーク ノ パラメータ ショキカ シュホウ ノ シュウセイ

Search this article

Description

Deep neural networks and their learning methods（ deep learning） are attracting attentions of many people in late years with many successful results. Although error backpropagation is generally used for training multilayer neural networks, its performance depends heavily on the initial parameters of networks. In this research, we proposed methods of improving Xavier Initialization for neural networks with ReLU （Rectified Linear Unit） and another modification of Xavier Initialization for neural networks dealing high dimensional numbers.

Journal

  • SEISAN KENKYU

    SEISAN KENKYU 68 (3), 261-264, 2016

    Institute of Industrial Science The University of Tokyo

Details 詳細情報について

Report a problem

Back to top