概収束と確率収束の違い

卒論で確率収束することの証明やシミュレーションをやったりしたので、確率収束のほうについては理解がちょっと深まってきた。というわけで、もっかいまとめてみるよ。ちなみに前にも書いたりなどしている。
www.yasuhisay.info

確率収束

$\mu=0$ が真の値としておく。 $X_i(i=1,\cdots,n)$ をi.i.d.サンプルとして、それぞれ平均0、分散1の正規分布に従う確率変数とする。このような状況で、事象 $| \mu - \frac{1}{n}\sum^n_{i=1}X_i | \leq \epsilon$ が起こる確率を計算していく(平均を繰り返し計算していく、ということ)。n=100として、例えば

回数	事象が起こったか
1回目	◯
2回目	×
3回目	◯
4回目	×
5回目	×
6回目	◯
7回目	◯
8回目	×
9回目	◯
10回目	×

というような場合を考えよう。n=100のサンプルを毎回生成してきて、その平均を毎回計算。真の値との差が $\epsilon$ 以内で抑えられたケースが10回中5回なので、確率は1/2ということになる。

今度はn=10000としてみよう。すると、さっきより真の値との差が $\epsilon$ 以内で抑えられる確率が大きくなることが予想される。例えばこんな感じに。

回数	事象が起こったか
1回目	◯
2回目	◯
3回目	◯
4回目	×
5回目	◯
6回目	◯
7回目	◯
8回目	◯
9回目	◯
10回目	×

今度は確率8/10で $\epsilon$ で抑えられた。

こういう感じで、 $n \rightarrow \infty$ としていくと事象 $| \mu - \frac{1}{n}\sum^n_{i=1}X_i | \leq \epsilon$ が起こる確率は1になる、というの確率収束するということ。

概収束

こっちがあんまり自信がない。。。

設定は似たような感じ。 $\mu=0$ が真の値としておく。 $X_i(i=1,\cdots,n)$ をi.i.d.サンプルとして、それぞれ平均0、分散1の正規分布に従う確率変数とする。この時 $\lim_{n \rightarrow \infty} \frac{1}{n}\sum^n_{i=1}X_i$ について考えてあげよう。 $\lim_{n \rightarrow \infty} \frac{1}{n}\sum^n_{i=1}X_i$ は(そのままだけど)平均値の極限について考えている。平均値の極限は期待値と一致して欲しいと(僕は)思う。つまり、 $\lim_{n \rightarrow \infty} \frac{1}{n}\sum^n_{i=1}X_i = \mu$ が成立していて欲しいということだ。概収束では、この事象が起こる確率が1である、と言っている。ここで注意なのは、絶対起こるとか言ってはいないということ。 $\lim_{n \rightarrow \infty} \frac{1}{n}\sum^n_{i=1}X_i = \mu$ が成立していない事象があるかもしれないけど、そんな事象の測度は0においやれるよ!!ということは言っている。

上の説明は、概収束の定義 $\mbox{Pr}\{w:\lim_{n \rightarrow \infty} X_n(w)= X(w)\}=1$ と対応付けさせて書いたつもりである。

もう一つの定義

上と同等な概収束の定義として、 $\lim_{n \rightarrow \infty} \mbox{Pr}\{w:\sup_{i \geq n}|X_i(w) - X(w)| > \epsilon\} = 0$ というのがある。n以上のiという自然数があって、そのiに対して上限 $\sup_{i \geq n}|X_i(w) - X(w)|$ が $\epsilon$ より大きい事象について考える。その事象の起こる確率の極限が0に行くといっているのがこっちの定義。

んー、まだこっちは上で書いたような説明とうまくリンクできないなあ。。。

追記

と思ったら、この辺見るとなんかうまく説明いけそうな気がしてきた。

評価すべき事象は $\lim_{n \rightarrow \infty} \frac{1}{n}\sum^n_{i=1}X_i = \mu$ である
この事象は次の事象と同等である
- $|\frac{1}{n}\sum^n_{i=1}X_i - \mu| < \epsilon, \, \forall \epsilon \> 0,n > N_{\epsilon}$
この事象の余事象は $|\frac{1}{n}\sum^n_{i=1}X_i - \mu| \geq \epsilon, \, \exists n > N$ である