変分ベイズ、入門編

PRMLゼミはMCMCの付近が一段落しまして、変分ベイズに突入しようとしています。いや、グラフィカルモデルに行ってもいいんだけど、図式化することによって変数間の関係が見やすくなる以上の御利益がよく分からないのです(誰か御利益を教えて＞＜)。というわけで、いまいちモチベーションが沸かないままやっても仕方がないので、変分ベイズです。

変分ベイズはEMアルゴリズムの一般化から自然な流れで出てくる、というのは以前書きました。
d.hatena.ne.jp
完全にベイズ的な枠組みで考えたい、ということですね。MCMCを使って問題に立ち向かうこともできるけど、とにかく時間がかかりがちなのがネック。そこで、同時分布を積の形に分解できると仮定して、積分ができる形に持っていきましょう、というのが変分ベイズの基本的な考え方。基本的にはEMアルゴリズムの拡張でありますから、尤度関数をKLダイバージェンスと、下界に分解します。下界は因子qによって決まる関数になってます。つまり、qを少しずつ変化させて、下界を最大にするようなqを見つけてあげる問題になる、ということです。このように変数ではなく、関数を少しづつ動かして、極値を見つけていくような問題を変分問題と言います。変分問題についてはこの辺がすごく分かりやすかったです。

http://www12.plala.or.jp/ksp/mathInPhys/variations1/

y(x)を任意の関数との和で表わしてあげて、 $\epsilon$ をちょっとづつ変化させる。あとは部分積分と、チェーンルールを使うだけで、オイラーラグランジュ方程式が出てきます。なお、変分ベイズでは、微分を含まない簡単な形であることが多いのでよかったですね!!PRMLでは、どこで変分法が使われているのかが少し分かりづらかったです。。。