読者です 読者をやめる 読者になる 読者になる

マルコフブランケット

機械学習 MCMC

HMMのGibbs Samplingを考えるとき、マルコフブランケットの変数のみを考えればよいのだがなんでだっけとかアホなことを考えたりしたのでメモ。なんでマルコフブランケットだけ考えればいいかについてはパターン認識と機械学習 下 - ベイズ理論による統計的予測のp95付近に書いてあって
p(x_i | \mathbf{x}_{-i}) = \frac{p(x_1, \cdots, x_N)}{\int p(x_1, \cdots, x_N) d x_i} = \frac{\prod_k p(x_k | \mbox{pa}_k)}{\int \prod_k p(x_k | \mbox{pa}_k) d x_i}
と書けるから。残るのは

  • ノードx_i自身の条件付き分布p(x_i | \mbox{pa}_i)
  • x_iを条件付き変数集合に含む(x_iを親に持つ、ってこと)任意のノードx_kの条件付き分布p(x_k | \mbox{pa}_k)

だけ。最初のケースはtail-to-tailかhead-to-tailのケースになるので、親のことだけ考えておけばよい。一方、2つ目のケースは子供はもちろんだが、共同親も考えなければならない。これはhead-to-headのケースがあるからだ(子供が観測されたとき親同士の条件付き独立性が崩れるということ)。

x_iと共同親をx_2、子をx_1とする。x_iのほうが親にくる場合を考えたいので、p(x_1, x_2 | x_i)なのかそれともp(x_1 | x_i)でいいのかを考えればいいことになる。
p(x_1, x_2 | x_i) = \frac{p(x_1, x_2, x_i)}{p(x_i)} = p(x_1 | x_2, x_i) p(x_2)
となるが、これはp(x_1, x_2 | x_i) = p(x_1 | x_i) p(x_2 | x_i)の形に因子分解することができない(ので、x_2のことも考えてあげないといけない...でいいのかな)。

3つのグラフの例

  • tail-to-tail
  • head-to-tail
  • head-to-head
  • tail-to-tail、head-to-tail => cが観測済みのとき条件付き独立、cが観測済みでないとき条件付き独立「ではない」
  • head-to-head => cが観測済みのとき条件付き独立「ではない」、cが観測済みでないとき条件付き独立

過去ログを調べてみたが、何か途中で挫折した感満載のものが出てきた...。

パターン認識と機械学習 下 (ベイズ理論による統計的予測)

パターン認識と機械学習 下 (ベイズ理論による統計的予測)

  • 作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇
  • 出版社/メーカー: 丸善出版
  • 発売日: 2012/02/29
  • メディア: 単行本
  • 購入: 6人 クリック: 14回
  • この商品を含むブログを見る