相手の立場に立って考える + 道具には使いどころがある

ベイズ統計日記

ノンパラベイズの解釈のところでid:mamorukさんとあれこれと議論。相手の立場に立って考える言葉の定義のところでお互いに食い違いがあったということが分かってくる。例えば今回の場合パラメータがないデータに語らせるの付近であれこれと食い違いがあ…

2011-07-18

#24 Sparse Additive Generative Models of Text

機械学習論文100本ノックベイズ統計 LDA

明日のICML読み会で読む論文。id:tsubosakaさんが紹介してくれている資料もあるし、明日はこの資料で手抜きをさせてもらおうかなと考えているのですが(ぇ)、自分の理解のためにメモも書いておきます。考え方はstraightforwardだし、実装も簡単そうだし、結果…

2011-07-12

#23 Infinite Latent Feature Models and the Indian Buffet Process

機械学習論文100本ノックベイズ統計 DMLA NIPS

DMLAにてtakuo-h君が紹介。途中から何をやっているか分かってきたが、できることとしては(Bayesian)sparse PCA + DPという感じ。latent featureというのが(PRMLとかに書いてあるような)Bayesian PCAでいうところのzに対応していて、そこの次元数がDPによって…

2011-07-11

#22 Adaptive Sparseness for Supervised Learning

機械学習論文100本ノックベイズ統計

ICML2011にSparse Additive Generative Models of Textという論文が出ていて、あちこちで筋がよさそうな感じじゃね?と紹介されている(こことかこことか)。Motivation肝となるアイデアはsparsenessで、LDAのような生成モデルだと単語毎にどの多項分布を選んで…

2011-04-29

DMPにおけるハイパーパラメータのサンプリングの仕方

機械学習ベイズ統計

ハイパーパラメータの決め方Collapsed Gibbs samplingなどではパラメータは積分消去されることからハイパーパラメータが通常のパラメータの役割を果たすことが少なくありません。そういうわけで通常だと割と適当に「えいやっ!!」と決めてしまうようなハイパ…

2011-04-26

Multinomial DPMを実装してみた

機械学習ベイズ統計 C++

ちょっと前に実装してたんだけど、メモを書くがてら公開してみる。やりたいこととしてはnested Chinse Restaurant Processまで行きたいんだけど、ノンパラベイズ初心者なので一番取りかかりやすいであろうDirichlet Process Mixture(DPM)を文書モデルでやっ…

2011-03-25

ノンパラベイズのあれこれ

機械学習ベイズ統計 LDA

自分用メモ。超基礎的なこと。書くのが躊躇されるレベルだが、書かないと忘れる。全部は書かない、自分が必要なところだけ。ディリクレ過程(Dirichlet Process; DP)を使ったようなモデルを自分で実装する必要が出てきた。今までは必要でなければ必ずしもDP使…

2010-11-29

#73 Correlated topic models

機械学習論文100本ノックベイズ統計 LDA NIPS

David M. Blei and John Lafferty, In Lawrence K. Saul, Yair Weiss, and L´eon Bottou, editors, Advances in Neural Information Processing Systems 17, Cambridge, MA, 2005. MIT Press.今日のDMLAにて紹介。LDAのトピック間に相関を入れたようなモデル…