きれいにまとめてる時間がないので、あとから自分が見て分かるだけのメモ。
- K-meansは混合ガウスをEMでやったときのとある極限と考えることができる
- ハード割り当て
- 図9.10の下の図の付近
- 生成モデルと識別モデル。生成モデルも事後分布とか使えばサンプリングできる?
- SVMとかだと無理っぽい。識別モデルのほうはモデルの仕方とか特徴空間に飛ばすのかとかで色々できない場合がありそう
- 9.3.4の線形回帰をEMでやるやつはwを潜在変数と見なしているけど、これは潜在変数が連続の場合になっている
- この辺の積分はwに関してであることに注意
- 一般化EMと変分ベイズの違いを完全に忘れてるので復習
- Mスレップを頑張るのところで、id:tsubosakaさんが「オンラインEMのところがその例になっているのではないか」と言われた付近がいまいち分かってないのでその付近
- オンラインEMについてちゃんと勉強する...
- Incremental EMとStepWise EM。StepWiseのほうは全部でもなく一個でもなく、100個ずつとか小分けにする感じ
- オンラインとstreamingの違い(id:niamさんによる)
- オンラインは一回データをなめるだけじゃなくってデータを水増し(何回も舐めることに相当)することができる
- ollのiterationとかはその水増しする回数に相当していると考えられる
- id:tsubosakaさんによる変分ベイズの解説は特に素晴しかった
- KL(p||q)とKL(q||p)で見たときの違いがちゃんと紹介されてたので、整理する
- 0である付近をはずさないようにするとかそういうの
- どっちで攻めるかによって変分ベイズとEP法が分かれる
- 10.1.3の1変数ガウス分布のところは分布の分解を仮定しても、ちゃんと正規分布とガンマ分布が出てきてくれるところがすごいなーというかかわいいなーと思った
- 指数分布族と共役事前分布のおかげ => しましまさんによる説明
- ハイパーパラメータの選択はかなり職人芸
- prmlだと混合分布のいくつかは縮退してたけど、うまく調整しないとなかなかああはならない
- 変分ベイズ実装(PRML 10.2) - Mi manca qualche giovedi`?
- 職人芸とかなんとか
- 発言のまとめ => PRML第12回 9.2～10.1 - Togetterまとめ
