PRMLの5章、ニューラルネットワーク(NN)のところで(4章のほうがむしろ書いてあるか)機械学習と統計のつながり(?)ということで一般化線形モデル(Genelized Liner Model:GLM)のはなしが書いてある。統計をやっている僕からすると活性化関数より連結関数のほうがなじみがあるところではある。まあ、きちんとGLM習ったことがないのであれなのだが、統計の流れから行くと自然な拡張な感じがする。
ただ、連結関数のほうはPRMLにもある通り、という逆関数で定義してあっていまいち分かりづらいとも思ってしまう。昨日NNは統計のGLMでは何に対応するのかなあと考えていたんだけど、隠れ層が一層のNNだと線形和→非線形変換→線形和→非線形変換となっていた。この場合の連結関数ってどれに対応しているのかなあーと考えていたんだけど、二回目の線形和があるから逆関数が考えづらいんだよなあ。うーん。隠れ層なし2クラス分類のNNはロジステック回帰と同値な問題だということは分かるんですが。
そういうわけで、NNとあそういうやつとGLMの連結関数との関連性について一度まとめたいなあと思う次第です。ネットで色々調べてみたけど、GLMだけ、NNだけとかそういうのが多くて両者のからみについて書いてあるところはほぼ皆無だったので。
あと上の流れからは全く関係ないけど、
- 情報量基準
- カルバックライブラーダイバージェンス
- 直感的に理解できていないので
- resampling系
- MCMCとかだけじゃなくてブートストラップについてもやりたい
- この辺は春休みにid:reposeとやる予定
などについてまとめたいなあと思っていたりします。脈絡ないですがw。
