変分ベイズ

natural conjugate priorと変分ベイズが一緒に出されてどっちも初めての人はついていけるのだろうかと思いつつ(授業的にはどっちかが分かってくれるといいなくらいだろうか)。エレベータで論生の人が「他の研究室の人たちはついていけるんだろうか」と話していたw。

q(w)のほうを"デルタ関数"(一点で無限大の大きさの棒が立っている分布)と見れば、変分ベイズの近似論法がEMの枠組みでそのまま説明できるというのは「ほう」という感じだった。PRMLだと、EMの拡張でいくからそういう見方はなかった。

混合ガウスを変分ベイズでやるときに、変分のほうの分布にもディリクレとガウシアンが出てきて、これって偶然じゃなかったよな...と思い出したので質問。隠れ変数とパラメータの同時分布で考えるとそいつの共役な分布はいないが、それぞれの独立性を仮定しているので、変分事後分布のほうでも(共役な)ディリクレとガウシアンが出てくるのは必然の結果。と、前勉強したのをすっかり忘れていたのでメモ。

今日のが無理ぽという人は以下の10章を(自分で手を動かしながら)読みましょう。今日の授業がいかに式ぶっとばして書いてあったかが分か(ry。

パターン認識と機械学習 下 - ベイズ理論による統計的予測