トップ > 機械学習 > PRML読書会第二回

PRML読書会第二回

機械学習 PRML 勉強会

また、この本で。

パターン認識と機械学習 上 - ベイズ理論による統計的予測

パターン認識と機械学習 上 - ベイズ理論による統計的予測

  • 作者: C. M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇
  • 出版社/メーカー: シュプリンガー・ジャパン株式会社
  • 発売日: 2007/12/10
  • メディア: 単行本
  • 購入: 18人 クリック: 1,588回
  • この商品を含むブログ (111件) を見る
本日は「頻度論とベイジアンの違い」ということで中々重いテーマなところでした。最初見たときは、パラメータが分布するという考えを理解するのに時間がかかりますよね。。。

そういうわけで本日は1.2章の確率論(P11)から、1.2.3章のベイズ確率(P24まで)をやりました。

確率論

確率の加法の定理と乗法定理からベイズの定理を導くまで。乗法定理がXとYについて対象っぽいことを利用してP(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(X|Y)P(Y)}{P(X)}という(1.12)式が導出できる。また、P(X)というのも加法定理と乗法定理を使って、P(X) = \sum_Y P(X,Y) = \sum_Y P(X|Y) P(Y)と導出できる。これをもう一回(1.12)式に使うと、P(Y|X)=\frac{P(X|Y) P(Y)}{\sum_Y P(X|Y) P(Y)}という式まで持っていける。本には書いてないっぽいけど。分母分子に同じ形が出てきて、なんか美しいですね。

ベイズ確率

本日の肝と言ってもいいでしょう。頻度論とベイジアンの哲学の違い。はてなではこの辺とかがちょっと前に出てましたね。

  • 頻度論では
    • パラメータが分布するとかは考えない
    • 真の値が一つだけある
    • それを推定していこう
  • ベイズでは
    • パラメータが分布している
    • さっきの条件付き確率とかを計算していくことで、データがgivenな状況でのパラメータの分布とかを考えていこうぜ

というような流れですかね。パラメータが分布する、しないというのがとにかく大きな違いです。真の値というものを考えないベイズでの推定のよさ、みたいなのってどうやって考えていくんだかが分からなくなった。あれれ。。。

あと、ベイズの式(1.43)P(w|D) = \frac{P(D|w)P(w)}{P(D)}には尤度も登場したりするわけだけど、その尤度関数とかは頻度論の考え方だとかでわけわかめになりますね。

参加者レポ