理論統計のまとめをここでやってみる

人に説明しないと理解が深まらないので。と言ってもここ読んで分かるはずもないのだけれど。

location-scale families

これは簡単。locationのほうは平均とかを変えるようなparamatorで、scaleのほうは分散とかを変えるparamator*1。二つ合わせてlocation-scale familiesと言う。location-scale familiesであるかどうかを確認するためには以下のことを見ればよい。
f_X(x;a,b)=\frac{1}{b}f_U(\frac{x-a}{b})
これによって、正規分布や、一般のコーシー分布、指数分布、一様分布がlocation-scale familiesであることが証明されていた。このlocation-scale familiesというのはMREというやつの方向にむかっていくやつらしい*2

exponential families

いわゆる指数族。いわゆると言っても初めて出てきたわけだが。natural parametorと呼ばれる部分とそうでない部分に分けることができるよね、というような感じ。expで書けないところはlogとか使って無理やり変換などをしていた印象。例えば、正規分布を以下のように書くことができる…と書こうとしたがめんどうなのでやめた。

kパラメータの指数族がfull rankであるとは

narural parameterの張る空間にopen rectangleを含むというようなこと。曲線みたいなのがあったらだめだよ、ってことらしい。それぞれのパラメータに制約がかかっていないということ*3

curved exponetial family

上の意味で、full rankでない場合の指数族のことをcurved exponetial familyと呼ぶらしい。\mu=\sigma^2である正規分布はfull rankなone-parameter exponential familyであるけど、\mu=\sigmaである正規分布はfull rankではなく、two-parameterのcurved exponetial familyに分類される*4

この後binary logit modelの説明があったけど、よく分からなかった。。。

指数族のmoment generationg function

moment generationg functionは積分が出てきて、それはそれで大変なんだけど、指数族だとmoment generationg functionが簡単になるという素晴しい性質があるらしい。

というわけで、この方法で出てきたmoment generationg functionと普通のやりかたで求めたmoment generationg functionが一致するかどうか正規分布とかで確認などをしてみる→あとでね。

十分統計量とは

sufficiencyのこと。Sをある統計量とすると、十分統計量であることの定義はS=sであるもとでの条件付き分布がもはや\thetaに依存しないこと、である。この定義は、十分統計量であるかの判別には使えるが、どれが十分統計量であるかについては何も教えてくれないのでちょっと不便だよねーという話があった。この不便さについては、分解定理(factorization theorem)で解消される。

また、十分統計量であるということを示すのにもなかなか労力がいる。授業では20分くらいかけて一つの例の説明があった。極限を取って、ほげほげなどされていた。もう一つの方法はデータを一対一対応になるような変換&独立であることをうまく利用した感じの示し方であったが、対応関係を見つけてくるのに、ちょっとセンスが必要そうなのが嫌な感じがした*5

the lilelihood ratio

式の変形については分かるんだけど、結局どういう流れで行っていたのかがよく分からなかった。何がgivenでどうなっているのやら。。。

後、差じゃなくてratioになっているところでヤコビアンが活躍しているんだねー的なこととか*6、lilelihood ratioが十分統計量であることの証明なども。

分解定理

上にも述べたように、十分統計量の定義は、判別には使えるが、どれが十分統計量であるかは教えてくれない。こんな時の分解定理。ある部分を通してしかパラメータに依存しないような形に分けるのがポイント。あと、証明は簡単だよ、と言われていた割に分かっていない件。

重要なこととしては、分解定理は十分統計量を与えてくれるが、minimal sufficientであるかは教えてくれないというのは注意が必要なところ。

まとめ

人に説明しないと分からない、と言いながら全くわけわからない説明を書いてきたわけですが、とりあえず一年後の自分が流れをつかめればおk、という自己満な感じでしめくくりたいと思います。

*1:おおざっぱすぐる。。。

*2:MREというのが何ものであるかはまだ知らない

*3:範囲に制限があってもいい

*4:パラメータ空間が曲線になる

*5:I don't have such a sence!!

*6:ヤコビアンで割れば差も同じじゃんと思ったが、raioのほうがきれいな形になるな