マルコフブランケット

HMMのGibbs Samplingを考えるとき、マルコフブランケットの変数のみを考えればよいのだがなんでだっけとかアホなことを考えたりしたのでメモ。なんでマルコフブランケットだけ考えればいいかについてはパターン認識と機械学習下 - ベイズ理論による統計的予測のp95付近に書いてあって
$p(x_i | \mathbf{x}_{-i}) = \frac{p(x_1, \cdots, x_N)}{\int p(x_1, \cdots, x_N) d x_i} = \frac{\prod_k p(x_k | \mbox{pa}_k)}{\int \prod_k p(x_k | \mbox{pa}_k) d x_i}$
と書けるから。残るのは

ノード $x_i$ 自身の条件付き分布 $p(x_i | \mbox{pa}_i)$
$x_i$ を条件付き変数集合に含む( $x_i$ を親に持つ、ってこと)任意のノード $x_k$ の条件付き分布 $p(x_k | \mbox{pa}_k)$

だけ。最初のケースはtail-to-tailかhead-to-tailのケースになるので、親のことだけ考えておけばよい。一方、2つ目のケースは子供はもちろんだが、共同親も考えなければならない。これはhead-to-headのケースがあるからだ(子供が観測されたとき親同士の条件付き独立性が崩れるということ)。

$x_i$ と共同親を $x_2$ 、子を $x_1$ とする。 $x_i$ のほうが親にくる場合を考えたいので、 $p(x_1, x_2 | x_i)$ なのかそれとも $p(x_1 | x_i)$ でいいのかを考えればいいことになる。
$p(x_1, x_2 | x_i) = \frac{p(x_1, x_2, x_i)}{p(x_i)} = p(x_1 | x_2, x_i) p(x_2)$
となるが、これは $p(x_1, x_2 | x_i) = p(x_1 | x_i) p(x_2 | x_i)$ の形に因子分解することができない(ので、 $x_2$ のことも考えてあげないといけない...でいいのかな)。