論理生命学

経験ベイズと周辺尤度

経験ベイズは以前勉強したことがあったので、前よりは余裕を持って聞けた。 www.yasuhisay.info 「経験ベイズは何をするものか?」ということに一言で答えようとすると、「よりよいハイパーパラメータを決定するために周辺尤度最大化を用いる手法」ということ…

変分ベイズ

natural conjugate priorと変分ベイズが一緒に出されてどっちも初めての人はついていけるのだろうかと思いつつ(授業的にはどっちかが分かってくれるといいなくらいだろうか)。エレベータで論生の人が「他の研究室の人たちはついていけるんだろうか」と話して…

情報幾何学応用

セミパラメトリック推定がメインの話。双対平坦な統計モデル 2種類の接続 e接続 m接続 最尤推定はm射影をやっている モデルがExponential Familyなら一意に決まる 高次推定理論 平坦でないモデルは曲率とかの高次の項を見ないといけない emアルゴリズムセミ…

情報幾何学

曲った空間を考える 局所的には線形空間と捉えられる 双対接続を用いた微分幾何学(???) 内積で、行列を挟んだものを「計量」と呼ぶ 共役勾配法の共役方向を作るときに出てきたやつ 別の基底ベクトルを導出 さっき作った行列Gの逆行列になっている そういうベ…

強化学習

よく分からないです><。 半教師あり学習 No Free Lunch モデルの誤りが大きな誤差を生む クラスタリングを使うこともある この辺は知ってるので、メモは略 Self-Training Co-Training Transductive SVM 強化学習 マルコフ決定過程 状態を知覚 政策で行動を…

多層パーセプトロンとSVM

http://hawaii.naist.jp/~kazushi/lec/tls/l3.pdf パーセプトロンの多層化 多層化というより、前処理というようなイメージ ニューラルネットは意識しているけど... 結合重みをランダムに生成 資料の赤のほうをランダム、青のほうはパーセプトロンで学習 汎化…

学習アルゴリズムの学習曲線

パーセプトロンの収束定理くらいまでかな?と思っていたらあんまり知らないような内容まであってびっくりした。アルゴリズムに対する学習曲線というものを導入し、統計力学の手法を使って解析する。次元数と例題数を無限大に飛ばすと0に行くんだが、問題はそ…