レプリカ交換モンテカルロ法を用いたMixture of Expertsモデルにおけるベイズ推論

書誌事項

タイトル別名
  • Bayesian Inference for Mixture of Experts Using Replica Exchange Monte Carlo Method

この論文をさがす

抄録

本論文での目的は,レプリカ交換モンテカルロ法(REMC法)を利用することで,Mixture of Experts(ME)モデルにおけるベイズ推論を実現し,事後分布を可視化することで,MEモデルの特異構造を評価することである.MEモデルは,多層ニューラルネットワークモデルや混合ガウスモデル,隠れマルコフモデルなどと同じく,特異モデルと呼ばれるモデルに属し,特異モデルにおいては,ベイズ推定が最尤推定に比べて推定精度の観点で優れていると考えられている.これまで,MEモデルにおけるベイズ推論では,主に変分ベイズ法による推定が行われてきたが,計算の都合上,近似事後分布をガウス分布に近似する方法や,ラベルと入力データの生成過程を強引に変更する方法などが提案されている.本論文では,REMC法を利用することで,MEモデルの1種として知られる正規化ガウス関数ネットワーク(NGnet)に対して近似を用いることなくベイズ推論を実現し,数値シミュレーションを通じて事後分布の可視化やモデル選択の振舞いを見ることでNGnetの性質を明らかにする.

The purpose of this paper is to realize the Bayesian inference for Mixture of Experts (ME) with replica exchange Monte Carlo (REMC) method, and to evaluate the singular structure of ME by analyzing posterior distribution through numerical simulation. ME belongs to the singular statistical model such as the multilayer neural network, the mixture of Gaussian model, the hidden Markov model and so on. In the singular statistical model, The Bayesian estimation is superior to the Maximum likelihood method from the viewpoint of generalization performance. Variational Bayes method has been mainly used for estimation of ME. To avoid the difficulty of analytical treatment, one previous research proposed the method to approximate posterior distribution to Gaussian distribution, and another study forcefully changed the generation process of label and input data. In this paper, we realize the Bayesian inference without approximation for Normalized Gaussian network(NGnet) which is one type of ME by using REMC, and we investigated the property of NGnet by analyzing the result of model selection and posterior distributions.

収録刊行物

関連プロジェクト

もっと見る

詳細情報 詳細情報について

  • CRID
    1050001339185652096
  • NII論文ID
    170000181263
  • NII書誌ID
    AA11464803
  • ISSN
    18827780
  • Web Site
    http://id.nii.ac.jp/1001/00201498/
  • 本文言語コード
    ja
  • 資料種別
    article
  • データソース種別
    • IRDB
    • CiNii Articles
    • KAKEN

問題の指摘

ページトップへ