ベイズ統計

相手の立場に立って考える + 道具には使いどころがある

ノンパラベイズの解釈のところでid:mamorukさんとあれこれと議論。 相手の立場に立って考える 言葉の定義のところでお互いに食い違いがあったということが分かってくる。例えば今回の場合 パラメータがない データに語らせる の付近であれこれと食い違いがあ…

#24 Sparse Additive Generative Models of Text

明日のICML読み会で読む論文。id:tsubosakaさんが紹介してくれている資料もあるし、明日はこの資料で手抜きをさせてもらおうかなと考えているのですが(ぇ)、自分の理解のためにメモも書いておきます。考え方はstraightforwardだし、実装も簡単そうだし、結果…

#23 Infinite Latent Feature Models and the Indian Buffet Process

DMLAにてtakuo-h君が紹介。途中から何をやっているか分かってきたが、できることとしては(Bayesian)sparse PCA + DPという感じ。latent featureというのが(PRMLとかに書いてあるような)Bayesian PCAでいうところのzに対応していて、そこの次元数がDPによって…

#22 Adaptive Sparseness for Supervised Learning

ICML2011にSparse Additive Generative Models of Textという論文が出ていて、あちこちで筋がよさそうな感じじゃね?と紹介されている(こことかこことか)。Motivation肝となるアイデアはsparsenessで、LDAのような生成モデルだと単語毎にどの多項分布を選んで…

DMPにおけるハイパーパラメータのサンプリングの仕方

ハイパーパラメータの決め方Collapsed Gibbs samplingなどではパラメータは積分消去されることからハイパーパラメータが通常のパラメータの役割を果たすことが少なくありません。そういうわけで通常だと割と適当に「えいやっ!!」と決めてしまうようなハイパ…

Multinomial DPMを実装してみた

ちょっと前に実装してたんだけど、メモを書くがてら公開してみる。やりたいこととしてはnested Chinse Restaurant Processまで行きたいんだけど、ノンパラベイズ初心者なので一番取りかかりやすいであろうDirichlet Process Mixture(DPM)を文書モデルでやっ…

ノンパラベイズのあれこれ

自分用メモ。超基礎的なこと。書くのが躊躇されるレベルだが、書かないと忘れる。全部は書かない、自分が必要なところだけ。ディリクレ過程(Dirichlet Process; DP)を使ったようなモデルを自分で実装する必要が出てきた。今までは必要でなければ必ずしもDP使…

#73 Correlated topic models

David M. Blei and John Lafferty, In Lawrence K. Saul, Yair Weiss, and L´eon Bottou, editors, Advances in Neural Information Processing Systems 17, Cambridge, MA, 2005. MIT Press.今日のDMLAにて紹介。LDAのトピック間に相関を入れたようなモデル…

ディリクレ過程とディリクレ過程混合モデル

多項分布とディリクレ分布NLP関係、特に言語モデルなどでは多項分布がよく使われる(N個のデータがあったときに、Aに1つ、Bに3つ…というような感じ)。言語モデルを作るときにはゼロ頻度問題が常に問題となるので、多項分布のパラメータを最尤推定で求めたもの…

マルコフ連鎖の収束判定に関連するトピック

以前までのMCMCのシミュレーションでは、不変分布に収束したかと見なせるかは、時系列plotをして、変な動きをしていなければ収束しているんじゃね?という大雑把なものだった。ということで、今回はマルコフ連鎖がどういう状況ならば収束していると判定してい…

Rでベイズをやってみる的なもの色々

来週のゼミが僕が担当なんだけど*1、数式展開して、「はい、こうなりますね」だけじゃ面白くないので、Rでやってみる。Bayesian Computation with R (Use R)をなぞっているだけですけどね。正規分布で、平均既知、分散未知の場合P30くらいからの内容。PRML読…

ベイズの事後分布と事後予測分布を出してみた

MCMCで、って言ったそばからあれなんですが、研究室の先輩と話してたらできそうだ、ということでやりました。できました。事後分布についてコインを二回投げて、表なら1、裏なら0でその和について考える。この和の事前分布をとりあえず一様分布*1としておく…

ベイズ的な何か

この辺の続きでMCMCをとりあえずやってみよう的な流れ。大分時間がたっているのはMacの設定にどれだけ時間をかけてしまったかが分かるあれですね。。。で、やってみようか思ったんだけど、もうやってあるのを発見した。 MCMCの勉強(1):Taglibro de H:So-ne…

そうか、だからMCMCなのか

昨日興奮ぎみに書いたところなんですが、積分のところがネックになっていました。Rはなんでもやってくれちゃう人なので、積分でも微分でも基本的にはやってくれたりします。なんですが、例えば2変数の関数があった時にその内の1変数で積分した結果、それはも…

みんな聞いてくれ!!!すごいことを発見してしまったんだ!!!

みんながもちろん知っているように、Rは関数型言語だ*1。ということは関数を受け取り関数を返すことができるはずだ。ということはだ!!!事前分布とデータを受け取り、事後分布を返すということが、Rなら割と簡単にできるはずではないか!!!ベイズ的なことを自…