PRML

head-to-head

今日からDMLAの輪講開始(今年はMacKayのInformation Theory, Inference, and Learning Algorithmsを読むのです)。今日は松本先生とid:mrcarrot君の担当。id:mrcarrot君は普通に読めてて素晴しい。途中で弁明現象の例が出てきたので、PRMLでいうところのhead-…

ディリクレ分布、ディガンマ関数、指数分布族、十分統計量

東京ではPRML読書会の最終回があっていたらしいですが、こちらはすごく初歩的な話。LDAのinferenceをGibbs samplingでやる話とかを紹介したので、こちらは変分ベイズでやるほう(というか元論文)を読んでいた。変分ベイズはいいんだけど、途中で出てくる (つ…

PRML読書会#12に行ってきた

C.M.ビショップ「パターン認識と機械学習(PRML)」読書会(第12回) : ATND きれいにまとめてる時間がないので、あとから自分が見て分かるだけのメモ。 K-meansは混合ガウスをEMでやったときのとある極限と考えることができる ハード割り当て 図9.10の下の図…

PRML読書会#11に参加しました

C.M.ビショップ「パターン認識と機械学習(PRML)」読書会(第11回) : ATND Logを見ていると半年振りくらいの参加だったようです。今回の主な内容はグラフィカルモデリングということでid:sleepy_yoshiさん、id:nokunoさん、id:n_shuyoさんが説明してください…

グラフィカルモデル

ベイジアンネットワーク同時分布を条件付き分布の積として以下のように分解する。 この同時分布は個のノードを持つ有効グラフとして表現できる。このように条件付けされたグラフは自分より小さい番号から向かってくるリンクを持つ。また、全連結である(ただ…

変分ベイズ、入門編

PRMLゼミはMCMCの付近が一段落しまして、変分ベイズに突入しようとしています。いや、グラフィカルモデルに行ってもいいんだけど、図式化することによって変数間の関係が見やすくなる以上の御利益がよく分からないのです(誰か御利益を教えて><)。というわ…

ガウス過程についてのメモ

ガウス過程の定義 ガウス分布との違い 普通のやり方 関数空間から見た視点 ガウス過程のメリットデメリット ガウス過程のメリット ガウス過程のデメリット まだよく分かってない付近 ガウス過程の定義関数上の確率分布で、任意の点集合に対するの値の同時分…

最近のゼミ

この辺読んでます。カーネル多変量解析―非線形データ解析の新しい展開 (シリーズ確率と情報の科学)作者: 赤穂昭太郎出版社/メーカー: 岩波書店発売日: 2008/11/27メディア: 単行本購入: 7人 クリック: 180回この商品を含むブログ (32件) を見るPRMLの下巻の…

4.2 確率的生成モデル

ゼミで発表したので、まとめておきます。自分用メモ。まず、ベイズの定理を使って、クラスの事後分布を計算する。直接事後分布をモデル化しにいく識別モデルとは違い、内部では(クラスとデータの)同時分布を計算しているのが生成モデル。この計算をしていく…

PRML読書会第三回に参加しました

第二回に引き続き、参加させてもらいました。 C.M.ビショップ「パターン認識と機械学習(PRML)」読書会(第3回) : ATND 今回は第二章の確率分布のところでした。自分は2.4の指数型分布族のところについて発表してきました。資料を公開しておきます。 Prml f…

PRML3章 線形回帰モデルが終わった

研究科の友達とやっているPRML勉強会で、第3章が終わりました。忘れないようにメモっておきます。3.1章【線形基底関数モデル】基底関数を使った線形回帰モデルを定義。加法性のガウスノイズを使って、確率変数にし尤度関数も定義。尤度関数を最大にするよう…

線形回帰モデル

明日発表の分のゼミの資料。PRMLの3.1.2から3.1.5までです。先週のはこの辺に書いている。 今日の日記 - yasuhisa's blog 最小二乗法の幾何学 ここではN=3と固定して考えてみる ということなので、3次元空間で考える 各軸が、、で与えられる3次元空間 図につ…

Rでニューラルネットワークをやってみる

ニューラルネットワークについて プログラム データの準備 モデル式の作成 結果の表示 予測値を得たい ヘッセ行列の固有値を見る ニューラルネットワークを可視化する 追記 nnetとかをもうちょっと 最適化とかヘッセ行列がらみの話 ニューラルネットワークに…

PRML読書会【ニューラルネットワーク】

先週休んでしまったので、4章終わってしまってます。。。というわけで上巻最後の章、ニューラルネットワークです。1月、遅くとも2月にはPRMLの上巻終わっちゃいそうなんだけど、その後どうしようかなー。SVMとの関連の付近5.1の前の付近。SVMとNNは全く別物…

RでK近傍法を用いたクラス分類をするためのコードを書いてみた

K近傍法による密度推定はいまいちな気がしたので、K近傍法によるクラス分類を行なうことにしました。多クラスでもいいんだけど、まあ2クラスから始めます。クラスに帰属する事後確率が(P123の(2.256式))であることを利用しています。自分で適当にデータ生成…

RでK近傍法による密度推定するためのコードを書いてみた

PRMLの2章の最後の付近にK近傍法というのが出てきました。 www.yasuhisay.info で、僕が卒研でたぶんやるカーネル使ったやつに比べてやったら考え方がシンプルなので、とりあえず実装してみることにしました。密度トレイスということなので、1次元の球を考え…

PRML読書会第十一回

今週で二章が終わりました。確率分布の章はわりとスムーズに進んだような気がしなくもない。上巻が5章くらいあるので、そういう意味では40%を読んだことになります。わっしょい。混合ガウス分布正規分布の和の分布と、混合正規分布が昔ごっちゃになっていた…

PRML読書会第十回

8月から始めたskypeによるパターン認識と機械学習 上 - ベイズ理論による統計的予測の読書会も、こつこつとやってきて今回が第十回目です。予習とか全くなしで、2時間くらいやって10Pとかいう進行度合いですが、10回もやると100Pくらいに到達しました。この…

PRML読書会第七回

第一章が終わったんだぜ!!!あと今回は全員集合でしたー。相対エントロピーと相互情報量 相対エントロピー 前回の勉強会では微分エントロピーの話とかが出てきたんだけど、それを使ったりして相対エントロピーというものを導出していた。微分エントロピーはで…

PRML読書会第五回

第三回、第四回のレポは書こうと思いながら、書いてなかった。今週は書くのである!!今回はP42の1.5.4「推論と決定」からP47の情報理論の前までやりました。まったりまったり。推論と決定決定問題を解くときには3つの異なるアプローチを考えることができる、…

PRML読書会第二回

また、この本で。パターン認識と機械学習 上 - ベイズ理論による統計的予測作者: C. M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社/メーカー: シュプリンガー・ジャパン株式会社発売日: 2007/12/10メディア: 単行本購入: 18人 クリック: 1…

PRML読書会第一回

PRMLって何のことかこの前まで分かってなかったんですが、パターン認識と機械学習 上 - ベイズ理論による統計的予測のことだそうです。予告していた通りskypeを使った読書会をやりました。id:wilsoniaさんとid:showyouさんとid:Lianさんとid:laughingさんと…