誤差確率分布を考慮した誤差逆伝播学習

鈴木, 昇一

type:text

This paper proposes a new theoretical framework of error backpropagation learning by applying a method of maximum likelihood to a probability distribution of errors between actual and desired outputs in a multilayered feedforward neural network. The synaptic weights that connect neurons in one layer with neurons in the other layer are obtained as maximum-likelihood-type estimators through a kind of supervised learning. It will be shown that the learning with the network presented here means finding out a set of synaptic weights that minimize a weighted adaptive error.　The distribution of errors is assumed to be the normal, the exponential, the student's distribution, or a combinatory distribution so that it is Gaussian in the middle and Laplacian at the tails with much large variance. The corresponding analyses are carried out. These results of this paper that have been successfully generalized for a highly robust learnig on condition that the error distribution is suitably selected out for the learning environment provide a direct generalization of the Perceptron Learning procedure, the ordinary learning algorithm proposed by Rumelhart et al., etc..\n　本論文では,理想出力からのズレ(誤差)の確率分布に対し最尤法を適用し,階層形ニューラルネット誤差逆伝播学習の新しい理論的枠組が提案される。一つの層のニューロンと次の層のニューロンとを結ぶシナプス結合の重みは教師あり学習を介し,最尤形推定量として得られる。本研究で提案されるネットワークの学習とは,ある重みつき適応誤差を極小ならしめるシナプス結合重みを発見することを意味する事実が示される。　誤差分布が各々,正規分布,指数分布,t分布,ガウス・ラプラシアン組合せ分布である場合が解析され,誤差分布が学習環境に対し適切に選ばれると頑健な学習をもたらすこれらの結果はパーセプトロン学習,ルーメルハート等の通常の学習アルゴリズム,その他諸々の直接的な一般化を提供する。

誤差確率分布を考慮した誤差逆伝播学習

Bibliographic Information

Search this article

Abstract

Journal

Details 詳細情報について

Export

Report a problem