読者です 読者をやめる 読者になる 読者になる

PRML読書会#11に参加しました

機械学習 PRML

Logを見ていると半年振りくらいの参加だったようです。

今回の主な内容はグラフィカルモデリングということでid:sleepy_yoshiさん、id:nokunoさん、id:n_shuyoさんが説明してくださいました。9章もちょっと入ってid:idojunさんが説明してくださいました。みなさん大変分かりやすい説明でした。分かりやすい例あり笑いありなプレゼンで、自分も真似したい。

この章を勉強する前までは「グラフィカルモデルって、デリィクレ過程とかに出てくる図のことだよね。見やすくする以外に何か他に効用あるの?」とかそんな感じだったのですが、いやはや勉強してよかったです。グラフィカルモデルのおいしいところはもっと別のところにあって、グラフ構造を入れることにより周辺分布のパラメータ推定を効率よく行なえ、さらに一つの周辺分布ではなく、全ての周辺分布も木を往復するだけで推論することができる!というところにあるのかなと思います。

例えばK個の状態を取るN個の確率変数に大して周辺分布が欲しいとしたら、ナイーブに周辺和と取るとO(K^N)となって指数関数的に大変になっていって破滅します。しかし、グラフィカルモデルを用いた積和アルゴリズムを使えば一つの周辺分布に関してO(NK^2)で計算することができます。N個の周辺分布が欲しければ、O(N^2K^2)でできるのかな?と思うところですが、木をなめていく(メッセージをパッシングしていく)ときに値を保存していくと、往復するだけでN個の周辺分布を計算することができ、O(NK^2)のままで計算できてしまいます。これは強力!!

あと昔形態素解析に使われているViterbiアルゴリズムとかをやったりしました。

が、このBiterbiアルゴリズムのグラフィカルモデルによる積和アルゴリズムをちょっと変えたmax-sumアルゴリズムという形で定式化することができます。ということでPRML13章の系列データの付近ではまたグラフィカルモデルが大活躍しそうな感じです。期待!!

懇親会にも参加させてもらいまして、とても楽しかったです。(Twitterでは交流があるものの)id:nokunoさんとid:sleepy_yoshiさんと初めてお話させてもらいました。あと、id:tsubosakaさんにコサイン類似度を高速に計算する方法etcを教えていただきました。めちゃくちゃ早くなりました(前が遅すぎたんですがw)。

次回は3/7ということらしいです!!