読者です 読者をやめる 読者になる 読者になる

概収束と確率収束の違い

確率論 測度論的確率論

卒論で確率収束することの証明やシミュレーションをやったりしたので、確率収束のほうについては理解がちょっと深まってきた。というわけで、もっかいまとめてみるよ。ちなみに前にも書いたりなどしている。
www.yasuhisay.info

確率収束

\mu=0が真の値としておく。X_i(i=1,\cdots,n)をi.i.d.サンプルとして、それぞれ平均0、分散1の正規分布に従う確率変数とする。このような状況で、事象| \mu - \frac{1}{n}\sum^n_{i=1}X_i | \leq \epsilonが起こる確率を計算していく(平均を繰り返し計算していく、ということ)。n=100として、例えば

回数 事象が起こったか
1回目
2回目 ×
3回目
4回目 ×
5回目 ×
6回目
7回目
8回目 ×
9回目
10回目 ×

というような場合を考えよう。n=100のサンプルを毎回生成してきて、その平均を毎回計算。真の値との差が\epsilon以内で抑えられたケースが10回中5回なので、確率は1/2ということになる。

今度はn=10000としてみよう。すると、さっきより真の値との差が\epsilon以内で抑えられる確率が大きくなることが予想される。例えばこんな感じに。

回数 事象が起こったか
1回目
2回目
3回目
4回目 ×
5回目
6回目
7回目
8回目
9回目
10回目 ×

今度は確率8/10で\epsilonで抑えられた。

こういう感じで、n \rightarrow \inftyとしていくと事象| \mu - \frac{1}{n}\sum^n_{i=1}X_i | \leq \epsilonが起こる確率は1になる、というの確率収束するということ。

概収束

こっちがあんまり自信がない。。。

設定は似たような感じ。\mu=0が真の値としておく。X_i(i=1,\cdots,n)をi.i.d.サンプルとして、それぞれ平均0、分散1の正規分布に従う確率変数とする。この時\lim_{n \rightarrow \infty} \frac{1}{n}\sum^n_{i=1}X_iについて考えてあげよう。\lim_{n \rightarrow \infty} \frac{1}{n}\sum^n_{i=1}X_iは(そのままだけど)平均値の極限について考えている。平均値の極限は期待値と一致して欲しいと(僕は)思う。つまり、\lim_{n \rightarrow \infty} \frac{1}{n}\sum^n_{i=1}X_i = \muが成立していて欲しいということだ。概収束では、この事象が起こる確率が1である、と言っている。ここで注意なのは、絶対起こるとか言ってはいないということ。\lim_{n \rightarrow \infty} \frac{1}{n}\sum^n_{i=1}X_i = \muが成立していない事象があるかもしれないけど、そんな事象の測度は0においやれるよ!!ということは言っている。

上の説明は、概収束の定義\mbox{Pr}\{w:\lim_{n \rightarrow \infty} X_n(w)= X(w)\}=1と対応付けさせて書いたつもりである。

もう一つの定義

上と同等な概収束の定義として、\lim_{n \rightarrow \infty} \mbox{Pr}\{w:\sup_{i \geq n}|X_i(w) - X(w)| > \epsilon\} = 0というのがある。n以上のiという自然数があって、そのiに対して上限\sup_{i \geq n}|X_i(w) - X(w)|\epsilonより大きい事象について考える。その事象の起こる確率の極限が0に行くといっているのがこっちの定義。

んー、まだこっちは上で書いたような説明とうまくリンクできないなあ。。。

追記

と思ったら、この辺見るとなんかうまく説明いけそうな気がしてきた。

  • 評価すべき事象は\lim_{n \rightarrow \infty} \frac{1}{n}\sum^n_{i=1}X_i = \muである
  • この事象は次の事象と同等である
    • |\frac{1}{n}\sum^n_{i=1}X_i - \mu| < \epsilon, \, \forall \epsilon \> 0,n > N_{\epsilon}
  • この事象の余事象は|\frac{1}{n}\sum^n_{i=1}X_i - \mu| \geq \epsilon, \, \exists n > Nである

はじめての確率論 測度から確率へ

はじめての確率論 測度から確率へ