グラフィカルモデル

ベイジアンネットワーク

同時分布を条件付き分布の積として以下のように分解する。
$p(x_1, \cdots, x_K) = p(x_K | x_1, \cdots, x_{K-1}) \cdots p(x_2 | x_1) p(x_1)$
この同時分布は $K$ 個のノードを持つ有効グラフとして表現できる。このように条件付けされたグラフは自分より小さい番号から向かってくるリンクを持つ。また、全連結である(ただの連結ではないことに注意)。全連結とは、「すべてのノードの組」に対してリンクを持つということである。図8.2などはリンクが存在しないノードの組があるので全連結ではないものの例になっている。

「グラフによって」定義される同時分布は親で条件付けた分布の積
$p(\mathbf{x}) = \prod_{k=1}^K p(x_k | \mbox{pa}_k)$
によって書き表すことができる。ここで、 $\mbox{pa}_k$ は $x_k$ の親ノードの集合を表わしている。上の式は有向グラフィカルモデルに対応する同時分布の分解特性を表わしている。考えている有向グラフは、有効閉路を持たないという制約を満たしている

例:多項式フィッティング

観測変数は対応するノードに影付け
$\mathbf{w}$ とかは潜在変数で影付けはされていないことに注意

離散変数

$K$ 個の状態を取る得る離散確率変数 $\mathbf{x}$ 上の確率分布 $\mathbf{x}|\mathbf{u}$ は
$p(\mathbf{x}|\mathbf{u}) = \prod_{k=1}^K u_k^{x_k}$
で与えられる。 $\mathbf{u} = (u_1, \cdots, u_K)^T$ はパラメータ。

次に2つの $K$ 個の状態を取る得る離散確率変数 $\mathbf{x}_1$ と $\mathbf{x}_2$ があったとしよう。そして、これらの同時分布についてモデル化したい。 $x_{1k} = 1$ かつ $x_{2k} = 1$ という事象が得られる確率をパラメータ $u_{kl}$ で表わすことにすると、同時分布は
$p(\mathbf{x}_1, \mathbf{x}_2|\mathbf{u}) = \prod_{k=1}^K \prod_{l=1}^K u_{kl}^{x_{1k} x_{2l}}$
で書ける。この場合のパラメータ $u_{kl}$ の数は $K^2 -1$ 個ある。 $\mathbf{x}_1, \cdots, \mathbf{x}_M$ の同時分布を考える場合はパラメータの数が指数関数的に増加してしまう。

条件付き独立性

PRML 8.2 条件付き独立性 from sleepy_yoshi

$p(a|b, c) = p(a|c)$ →cが与えられた元で、aはbに対して条件付き独立
$p(a, b|c) = p(a|b, c)p(b|c) = p(a|c)p(b|c)$
$a \perp\!\!\!\perp b | c$ で書き表す
「グラフィカルモデルの重要かつ美しい特徴の1つは、これを同時分布の条件付き独立性が解析的操作なしで直接グラフから読み取れることである」

3つのグラフの例

ここでは

tail-to-tail
head-to-tail
head-to-head

の3つのグラフの例が上げてある。最初にtail-to-tail。ノードaとノードbが共通の親ノードcを持っていたとする。このような経路が存在するとaとbは独立ではない。しかし、cに関して条件付ければ、条件付きノードはaからbへの経路を「遮断(blocked)」してaとbを条件付き独立にする。

head-to-tailも似たような感じだが、head-to-headは振舞いが全然違う。 $a \perp\!\!\!\perp b | \emptyset$ であるが、 $a \not{\!\perp\!\!\!\perp} b | c$ になっている。どういうことかというと、どの変数も観測されていない時はaとbは独立であるが、cで条件付けるとaとbは(条件付き)独立ではない、ということである。

有向分離(d分離)

モチベーションとしては、与えられた有向非巡回グラフが条件付き独立性 $A \perp\!\!\!\perp B | C$ を示唆するかどうかを調べたい、というもの。それを調べる方法としてはAに属する任意のノードからBに属する任意のノードへの全ての可能な経路について(条件付き独立性を満たしているかを)調べる必要がある。「遮断されている」の定義は以下の通り。

以下の条件のうちいずれかを満たすノードを含む経路は遮断されている(blocked)と言う。

集合Cに含まれるノードであって、経路に含まれる矢印がそこでhead-to-tailあるいはtail-to-tailである

経路に含まれる矢印がそのノードでhead-to-headであり、自身あるいはそのすべての子孫のいずれもが集合Cに含まれない

ぱっと見よく分からないので、定義に戻ってどっちも満たしていないかを確認していくのがよい感じである。図8.22の例と本文での説明が詳しいのでそれと照し合わせて丁寧に見ていくとよい。

マルコフ確率場

条件付き独立性

上でも見たように、遮断の定義は若干複雑なものであった。有向グラフの代わりに、条件付きグラフの分離性を簡単に判断できるようなグラフ構造の意味付けはできるだろうか?という問いに答えてくれるのが無向グラフである。親と子ノードの非対称性を取り除くことでhead-to-headノードのような現象が起こらなくなる、らしい。

条件付き独立性 $A \perp\!\!\!\perp B | C$ を調べる簡単な方法としては、集合Cに属するすべてのノードを、それらに接続するすべてのリンクとともにグラフから取り除けばよい。Aの任意のノードとBの任意のノードをつなぐ経路が存在しなくなれば条件付き独立性は必ず満たされるし、これなら直感的である。