読者です 読者をやめる 読者になる 読者になる

MCMCのための確率過程概要

確率過程

確率過程の忘れっぷりにわろた。確率過程の基礎を参考にしつつ書いている。式番号、ページなどは全てこれのやつです。

吸収状態

チャップマンーコルモゴルフ方程式

45pの(2.2)。n期でiにいて、n+m期でj移っているような推移確率行列のこと。
p^{m+n}(i,j) = \sum_k p^m(i,k)p^n(k,j)
44pからの簡単な例からの流れで行くと分かりやすい。

再帰的、非再帰的

状態yに初めて戻ってくる時刻をT_y = \mbox{min}\{n \geq 1 : X_n =y\}と置いて、yから出発して初めてyに戻る時刻が有限である確率をg_y=P(T_y < \infty)|X_0=yと定義する。

この時、g_y=1であれば、yに戻ってくる確率はg^n_y=1なので、状態yに無限回戻ってくる。こういう状態の時、yは再帰的と呼ばれる。逆にg_y<1の時はn \rightarrow \inftyの時g_y^n \rightarrow 0となるので、yに戻ってこなくなる。こういう状態を非再帰的と呼ぶ。

既約

ある集合Aから外に矢印が出ていないとき、すなわちi \in Aかつj \neq Aならばp(i,j)=0を満たすとき、集合Aは閉じている、という。56pの図が分かりやすい。

コミュニケートする

状態xから出発し、状態yに到達する確率が正、すなわち\rho_{xy} = P_x(T_x<\infty)>0であるとき、xはyにコミュニケートするという。

既約についてもうちょっと粗い既約という概念がある。集合Bが全ての元i,j \in Bに対して、iからjへコミュニケートするとき、集合Bを既約であるという。

これから定理(3.4)が導出される。

集合Cが有限で、既約かつ閉じた集合であれば、集合Cのすべての状態は再帰的である。

定常分布

定常分布\piとは\pi(y) \geq 0かつ\sum_y \pi(y)=1を満たす方程式\pi p = \piの解のことである。

周期

収束定理

pが既約かつ非周期的で定常分布\piをもつとする。このとき、n \rightarrow \inftyp^n(x,y) \rightarrow \pi(y)が成りたつ。

定常分布の存在と一意性

まず一意性から。系(4.6)より

pが既約ならば、定常分布は一意的である。すなわち、定常分布は2つ以上存在しないか、あるいは定常分布が存在しない。