レプリカ交換モンテカルロ法を用いたMixture of Expertsモデルにおけるベイズ推論

IPSJ

Bibliographic Information

Other Title
  • Bayesian Inference for Mixture of Experts Using Replica Exchange Monte Carlo Method

Search this article

Abstract

本論文での目的は，レプリカ交換モンテカルロ法（REMC法）を利用することで，Mixture of Experts（ME）モデルにおけるベイズ推論を実現し，事後分布を可視化することで，MEモデルの特異構造を評価することである．MEモデルは，多層ニューラルネットワークモデルや混合ガウスモデル，隠れマルコフモデルなどと同じく，特異モデルと呼ばれるモデルに属し，特異モデルにおいては，ベイズ推定が最尤推定に比べて推定精度の観点で優れていると考えられている．これまで，MEモデルにおけるベイズ推論では，主に変分ベイズ法による推定が行われてきたが，計算の都合上，近似事後分布をガウス分布に近似する方法や，ラベルと入力データの生成過程を強引に変更する方法などが提案されている．本論文では，REMC法を利用することで，MEモデルの1種として知られる正規化ガウス関数ネットワーク（NGnet）に対して近似を用いることなくベイズ推論を実現し，数値シミュレーションを通じて事後分布の可視化やモデル選択の振舞いを見ることでNGnetの性質を明らかにする．

The purpose of this paper is to realize the Bayesian inference for Mixture of Experts (ME) with replica exchange Monte Carlo (REMC) method, and to evaluate the singular structure of ME by analyzing posterior distribution through numerical simulation. ME belongs to the singular statistical model such as the multilayer neural network, the mixture of Gaussian model, the hidden Markov model and so on. In the singular statistical model, The Bayesian estimation is superior to the Maximum likelihood method from the viewpoint of generalization performance. Variational Bayes method has been mainly used for estimation of ME. To avoid the difficulty of analytical treatment, one previous research proposed the method to approximate posterior distribution to Gaussian distribution, and another study forcefully changed the generation process of label and input data. In this paper, we realize the Bayesian inference without approximation for Normalized Gaussian network(NGnet) which is one type of ME by using REMC, and we investigated the property of NGnet by analyzing the result of model selection and posterior distributions.

Journal

Related Projects

See more

Keywords

Details 詳細情報について

Report a problem

Back to top