推薦入試が終わった 色んな意味で。。。 既存研究にしろ、将来の展望にしろ、抽象的だよねーという感じの感触 まあ、実際のところそっちのほうはあんまり勉強とかをしてなかったので、しゃーないと言えばしゃーない プログラミングキャンプの応募もした 12日…

入試も終わったので、ちょっと前から気になっていたid:nowokayさんがやってたSVMとかNNのエントリーを追っ掛けることにしたいと思う。 3-NN法 - きしだのはてな パーセプトロンってなんだろう？ - きしだのはてな パーセプトロンで非線形分離するには - きし…

うちの学類は数理計画とかはあるのに、学類で数値計算っぽいのがあんまりないので、基本と思われる最急降下法というのをやってみた。 http://www.neurosci.aist.go.jp/~kurita/lecture/neuro/node2.html もちろんRでやるよ!!問題1微分したやつ計算してもいい…

最小2乗法は知ってるので、ぶっとばしてパーセプトロン。 http://www.neurosci.aist.go.jp/~kurita/lecture/neuro/node4.html 線形の和に対して、閾値関数*1やロジステック関数をかましてやったものが、ここで言うyのことなのか。で、なんか説明があって、次…

発散しまくってしまう。本質的に同じことをしているはずなのに。うーん。 y <- function(x1,x2,x3,a0,a1,a2,a3){ return(a0 + a1*x1 + a2*x2 + a3*x3) } deda0 <- function(y,x1,x2,x3,a0,a1,a2,a3){ -2/15 * sum((y-y(x1,x2,x3,a0,a1,a2,a3))) } deda1 <- f…

ニューラルネットワークの一番簡単っぽい単層パーセプトロンというのは、入出力関数がシグモイド関数ならば、GLMとかに分類されるロジステック回帰と本質的にほぼ同じものと考えてよさそうだ。GLMとNNの関係性が気になる。集合の包含関係的な意味で。 単純パ…