yasuhisa's blog

MCMCのための確率過程概要

確率過程

確率過程の忘れっぷりにわろた。確率過程の基礎を参考にしつつ書いている。式番号、ページなどは全てこれのやつです。

吸収状態

チャップマンーコルモゴルフ方程式

45pの(2.2)。n期でiにいて、n+m期でj移っているような推移確率行列のこと。
$p^{m+n}(i,j) = \sum_k p^m(i,k)p^n(k,j)$
44pからの簡単な例からの流れで行くと分かりやすい。

再帰的、非再帰的

状態yに初めて戻ってくる時刻を $T_y = \mbox{min}\{n \geq 1 : X_n =y\}$ と置いて、yから出発して初めてyに戻る時刻が有限である確率を $g_y=P(T_y < \infty)|X_0=y$ と定義する。

この時、 $g_y=1$ であれば、yに戻ってくる確率は $g^n_y=1$ なので、状態yに無限回戻ってくる。こういう状態の時、yは再帰的と呼ばれる。逆に $g_y<1$ の時は $n \rightarrow \infty$ の時 $g_y^n \rightarrow 0$ となるので、yに戻ってこなくなる。こういう状態を非再帰的と呼ぶ。

既約

ある集合Aから外に矢印が出ていないとき、すなわち $i \in A$ かつ $j \neq A$ ならば $p(i,j)=0$ を満たすとき、集合Aは閉じている、という。56pの図が分かりやすい。

コミュニケートする

状態xから出発し、状態yに到達する確率が正、すなわち $\rho_{xy} = P_x(T_x<\infty)>0$ であるとき、xはyにコミュニケートするという。

既約についてもうちょっと粗い既約という概念がある。集合Bが全ての元 $i,j \in B$ に対して、iからjへコミュニケートするとき、集合Bを既約であるという。

これから定理(3.4)が導出される。

集合Cが有限で、既約かつ閉じた集合であれば、集合Cのすべての状態は再帰的である。

定常分布

定常分布 $\pi$ とは $\pi(y) \geq 0$ かつ $\sum_y \pi(y)=1$ を満たす方程式 $\pi p = \pi$ の解のことである。

周期

収束定理

pが既約かつ非周期的で定常分布 $\pi$ をもつとする。このとき、 $n \rightarrow \infty$ で $p^n(x,y) \rightarrow \pi(y)$ が成りたつ。

定常分布の存在と一意性

まず一意性から。系(4.6)より

pが既約ならば、定常分布は一意的である。すなわち、定常分布は2つ以上存在しないか、あるいは定常分布が存在しない。