汎化を考慮した確率モデルの学習について

情報処理学会

書誌事項

タイトル別名
  • A Note on Learning Theory for Probabilistic Models

この論文をさがす

説明

学習データから情報源の確率構造を学習する場合,その結果は学習データに依存するので,何らかの方法で学習データから真の構造に近い確率モデルを推定する必要がある.そのための方法として,適切な次数のモデルを選択する方法があり,AICやMDLなどの情報量規準が提案されている.AICは期待平均対数尤度最大のモデルを選択することにより,KL情報量の意味で真の構造に近い確率モデルを選択しようとする.MDLは,データの記述長とモデルの記述長の和を最小にするモデルを選択するという規準である.しかし,AICでは評価できない項を無視していることや一致性がないことが指摘されている.MDLではパラメータを量子化する部分が粗い議論であるために,記述長最小という評価規準は密には達成されていない.本稿では,情報源符号化において最近注目されているベイズ符号をモデル選択に応用することを考える.そして,ベイズ決定理論に基づき,次のシンボルを予測符号化したときのベイズ符号長を最小にするという意味で,漸近的に最適なモデルを選択する情報量規準を提案する.

収録刊行物

詳細情報 詳細情報について

問題の指摘

ページトップへ