セミパラメトリック推定がメインの話。双対平坦な統計モデル 2種類の接続 e接続 m接続 最尤推定はm射影をやっている モデルがExponential Familyなら一意に決まる 高次推定理論 平坦でないモデルは曲率とかの高次の項を見ないといけない emアルゴリズムセミ…

自分用メモ。 f <- c(4, 8, 3, -3, 4, 10, 8, 7) y1 <- c(-3, 3, 0, -1, 2, 6, 3, -2) y2 <- c(-1, 6, 8, 6, 1, 3, 6, 11) # ユークリッド距離 sqrt(sum((f - y1)^2)) sqrt(sum((f - y2)^2)) # 板倉-斎藤歪み距離 1 / length(f) * sum(f - y1 + exp(y1) / ex…

研究室の。手巻き寿司。 腹いっぱい食べましたとさ。

曲った空間を考える 局所的には線形空間と捉えられる 双対接続を用いた微分幾何学(???) 内積で、行列を挟んだものを「計量」と呼ぶ 共役勾配法の共役方向を作るときに出てきたやつ 別の基底ベクトルを導出 さっき作った行列Gの逆行列になっている そういうベ…

で、大分使いやすくなった気がする。助教の先生のiPadに負けずに頑張ろうと思いますw。コレクションフォルダというよりは文章に対するタグっぽい感じかな。1つの文章を複数のコレクションに入れることもできるっぽい。なんでそもそもなかったのかという感じ…

回しものだったり、回しものではなかったり。 サマーブートキャンプ http://is-exam-www.naist.jp/blog/2010/06/2010_3.html サマーブートキャンプ2010 NAISTのサマーブートキャンプ。うちの自然言語処理講座は検索エンジン作りと、統計的機械翻訳システムの…

yasuhiro-r中心で確率的言語モデルの勉強会があっている。言語と計算 (4) 確率的言語モデル作者: 北研二,辻井潤一出版社/メーカー: 東京大学出版会発売日: 1999/11メディア: 単行本購入: 10人 クリック: 91回この商品を含むブログ (44件) を見るちょっとヘル…

Peilin Zhao and Steven C.H. Hoi, The 27th International Conference on Machine Learning (ICML 2010), Haifa, Israel, 21-24 June, 2010.今熱い(?)転移学習とオンライン学習を組み合せてやってみましょうというお話。homogeneousな場合とheterogeneousな…

本質的にHMMですね。 si_1 <- c(250, 260, 250) si_2 <- c(220, 240, 230) ka_1 <- c(240, 260, 230) ka_2 <- c(250, 270, 260) si <- c(240, 250, 230) ka <- c(230, 260, 250) target_cost <- function(x, y) { abs(x[1] - y[1]) + 2 * abs(x[2] - y[2]) +…

よく分からないです＞＜。 半教師あり学習 No Free Lunch モデルの誤りが大きな誤差を生む クラスタリングを使うこともある この辺は知ってるので、メモは略 Self-Training Co-Training Transductive SVM 強化学習 マルコフ決定過程 状態を知覚 政策で行動を…

大変難航しております。無駄に相当はまっている。週末と月曜の午後を使ったけど、それでもまだ入らない。バイナリが配布されているはずなんだけど、OSXのバイナリのところに置いてないし、サイトつながらないしで涙目。この辺に書いてある必要なもの取ってき…

http://hawaii.naist.jp/~kazushi/lec/tls/l3.pdf パーセプトロンの多層化 多層化というより、前処理というようなイメージ ニューラルネットは意識しているけど... 結合重みをランダムに生成 資料の赤のほうをランダム、青のほうはパーセプトロンで学習 汎化…

からまでの範囲でをフーリエ級数展開してみる(フーリエ解析 (理工系の数学入門コース 6)のp18の例)。nの次数を上げていくと元の関数に接近していくということが分かる。この図でこそ、元の関数と一致している点のほうが有限個くらいしかないように見えるが、…

それすら分かっていない状況。。。 周波数は、波動や振動の周期の逆数であり、単位は「ヘルツ」(Hz)が使われる。 波長とは、波形を描いて空間を伝わる電磁波や音波などにおいて、波形のある地点からすぐ隣の同じ位相までの距離を表すものである。 振幅(しん…

増えてきているので書いとかないと忘れる。 SVD 行列関係、一回押さえておかないとあれだなぁ Hashing関係の手法 LSH、Spectral Hashing付近

この時間は機械翻訳の勉強会が入っているので、授業は取らない予定だった。が、音情報処理が予想以上に分けが分からない感じで、正直やばすぎて、分からないところはフーリエ変換とかその付近からで、基礎数学IIでその付近をやっているということを友達から…

自己回帰が音声でも出てくるとは。経済の時系列モデルでやったことあったからモデルは分かるんだが、音声の専門用語が全然分からないのが。。。演習問題はARの係数求めて、極が分かり、それからarctanとか使って、ピークがくるところを求めてすぐ終わり。

Olukotun, NIPS-2006.id:mamorukさんによる紹介。Multicore上でのMap-Reduceを機械学習でやる話。「SVMを並列でやれるようにしたよ(pSVMとかcascaded SVMとか)」とかそういうものではなく、Statistical Query modelという範疇にあるモデルのクラスでsummatio…

パーセプトロンの収束定理くらいまでかな?と思っていたらあんまり知らないような内容まであってびっくりした。アルゴリズムに対する学習曲線というものを導入し、統計力学の手法を使って解析する。次元数と例題数を無限大に飛ばすと0に行くんだが、問題はそ…

研究室の自然言語処理の基礎勉強会でFSNLPを使っていて、今週が自分の担当のところ。2.2章の情報理論。情報理論のテストも終わったばかりということでみんなの頭の中に記憶があるときでよかったです。言語モデルのほうとかは早めにやっていたほうがいいと思…