読者です 読者をやめる 読者になる 読者になる

変分ベイズ、入門編

機械学習 PRML

PRMLゼミはMCMCの付近が一段落しまして、変分ベイズに突入しようとしています。いや、グラフィカルモデルに行ってもいいんだけど、図式化することによって変数間の関係が見やすくなる以上の御利益がよく分からないのです(誰か御利益を教えて><)。というわけで、いまいちモチベーションが沸かないままやっても仕方がないので、変分ベイズです。

変分ベイズはEMアルゴリズムの一般化から自然な流れで出てくる、というのは以前書きました。
d.hatena.ne.jp
完全にベイズ的な枠組みで考えたい、ということですね。MCMCを使って問題に立ち向かうこともできるけど、とにかく時間がかかりがちなのがネック。そこで、同時分布を積の形に分解できると仮定して、積分ができる形に持っていきましょう、というのが変分ベイズの基本的な考え方。基本的にはEMアルゴリズムの拡張でありますから、尤度関数をKLダイバージェンスと、下界に分解します。下界は因子qによって決まる関数になってます。つまり、qを少しずつ変化させて、下界を最大にするようなqを見つけてあげる問題になる、ということです。このように変数ではなく、関数を少しづつ動かして、極値を見つけていくような問題を変分問題と言います。変分問題についてはこの辺がすごく分かりやすかったです。

http://www12.plala.or.jp/ksp/mathInPhys/variations1/

y(x)を任意の関数との和で表わしてあげて、\epsilonをちょっとづつ変化させる。あとは部分積分と、チェーンルールを使うだけで、オイラーラグランジュ方程式が出てきます。なお、変分ベイズでは、微分を含まない簡単な形であることが多いのでよかったですね!!PRMLでは、どこで変分法が使われているのかが少し分かりづらかったです。。。

計算統計 I―確率計算の新しい手法 (統計科学のフロンティア 11)

計算統計 I―確率計算の新しい手法 (統計科学のフロンティア 11)

  • 作者: 汪金芳,手塚集,上田修功,田栗正章,樺島祥介,甘利俊一,竹村彰通,竹内啓,伊庭幸人
  • 出版社/メーカー: 岩波書店
  • 発売日: 2003/06/13
  • メディア: 単行本
  • クリック: 26回
  • この商品を含むブログ (10件) を見る