読者です 読者をやめる 読者になる 読者になる

PRML読書会#12に行ってきた

機械学習 PRML

きれいにまとめてる時間がないので、あとから自分が見て分かるだけのメモ。

  • K-meansは混合ガウスをEMでやったときのとある極限と考えることができる
    • ハード割り当て
  • 図9.10の下の図の付近
    • 生成モデルと識別モデル。生成モデルも事後分布とか使えばサンプリングできる?
    • SVMとかだと無理っぽい。識別モデルのほうはモデルの仕方とか特徴空間に飛ばすのかとかで色々できない場合がありそう
  • 9.3.4の線形回帰をEMでやるやつはwを潜在変数と見なしているけど、これは潜在変数が連続の場合になっている
    • この辺の積分はwに関してであることに注意
  • 一般化EMと変分ベイズの違いを完全に忘れてるので復習
    • Mスレップを頑張るのところで、id:tsubosakaさんが「オンラインEMのところがその例になっているのではないか」と言われた付近がいまいち分かってないのでその付近
  • オンラインEMについてちゃんと勉強する...
  • Incremental EMとStepWise EM。StepWiseのほうは全部でもなく一個でもなく、100個ずつとか小分けにする感じ
  • オンラインとstreamingの違い(id:niamさんによる)
    • オンラインは一回データをなめるだけじゃなくってデータを水増し(何回も舐めることに相当)することができる
    • ollのiterationとかはその水増しする回数に相当していると考えられる
  • id:tsubosakaさんによる変分ベイズの解説は特に素晴しかった
  • KL(p||q)とKL(q||p)で見たときの違いがちゃんと紹介されてたので、整理する
    • 0である付近をはずさないようにするとかそういうの
    • どっちで攻めるかによって変分ベイズとEP法が分かれる
  • 10.1.3の1変数ガウス分布のところは分布の分解を仮定しても、ちゃんと正規分布とガンマ分布が出てきてくれるところがすごいなーというかかわいいなーと思った
  • ハイパーパラメータの選択はかなり職人芸
  • 発言のまとめ => PRML第12回 9.2~10.1 - Togetterまとめ