理論統計のまとめをここでやってみる

人に説明しないと理解が深まらないので。と言ってもここ読んで分かるはずもないのだけれど。

location-scale families

これは簡単。locationのほうは平均とかを変えるようなparamatorで、scaleのほうは分散とかを変えるparamator*1。二つ合わせてlocation-scale familiesと言う。location-scale familiesであるかどうかを確認するためには以下のことを見ればよい。
$f_X(x;a,b)=\frac{1}{b}f_U(\frac{x-a}{b})$
これによって、正規分布や、一般のコーシー分布、指数分布、一様分布がlocation-scale familiesであることが証明されていた。このlocation-scale familiesというのはMREというやつの方向にむかっていくやつらしい*2。

exponential families

いわゆる指数族。いわゆると言っても初めて出てきたわけだが。natural parametorと呼ばれる部分とそうでない部分に分けることができるよね、というような感じ。expで書けないところはlogとか使って無理やり変換などをしていた印象。例えば、正規分布を以下のように書くことができる…と書こうとしたがめんどうなのでやめた。

kパラメータの指数族がfull rankであるとは

narural parameterの張る空間にopen rectangleを含むというようなこと。曲線みたいなのがあったらだめだよ、ってことらしい。それぞれのパラメータに制約がかかっていないということ*3。

curved exponetial family

上の意味で、full rankでない場合の指数族のことをcurved exponetial familyと呼ぶらしい。 $\mu=\sigma^2$ である正規分布はfull rankなone-parameter exponential familyであるけど、 $\mu=\sigma$ である正規分布はfull rankではなく、two-parameterのcurved exponetial familyに分類される*4。

この後binary logit modelの説明があったけど、よく分からなかった。。。

指数族のmoment generationg function

moment generationg functionは積分が出てきて、それはそれで大変なんだけど、指数族だとmoment generationg functionが簡単になるという素晴しい性質があるらしい。

というわけで、この方法で出てきたmoment generationg functionと普通のやりかたで求めたmoment generationg functionが一致するかどうか正規分布とかで確認などをしてみる→あとでね。

十分統計量とは

sufficiencyのこと。Sをある統計量とすると、十分統計量であることの定義は $S=s$ であるもとでの条件付き分布がもはや $\theta$ に依存しないこと、である。この定義は、十分統計量であるかの判別には使えるが、どれが十分統計量であるかについては何も教えてくれないのでちょっと不便だよねーという話があった。この不便さについては、分解定理(factorization theorem)で解消される。

また、十分統計量であるということを示すのにもなかなか労力がいる。授業では20分くらいかけて一つの例の説明があった。極限を取って、ほげほげなどされていた。もう一つの方法はデータを一対一対応になるような変換&独立であることをうまく利用した感じの示し方であったが、対応関係を見つけてくるのに、ちょっとセンスが必要そうなのが嫌な感じがした*5。