読者です 読者をやめる 読者になる 読者になる

分散共分散行列は半正定値

最適化理論

というのが本当かどうかを示さないといけないっぽい。結果は真。以下を書きなおしながらやってみる(tex記法とベクトルを使って書き直したいらしい)。

ここの最後の回答を参考にする。二次モーメントまで存在するような確率変数Yを考える。\mbox{Var\{Y\}} = E[(Y - E[Y])^2 \geq 0であるけど、\mbox{Var\{Y\}} = E[Y^2] - (E[Y])^2でもある。これからE[Y^2] \geq (E[Y])^2とすぐに分かる。で、あとでこの性質を使う。

以下嘘書いてます。間違い!!

期待値の使い方とか間違いまくってるよ!!
ここで、n \times nの行列Xについて考える。 任意のn次元ベクトルv=(v_1,\cdots,v_n)に対して、Y = Xv = X_1 v_1 + \cdots + X_n v_nと置く。するとYは確率変数の和であるから、当然Y自身も確率変数となる。なので、上で示したE[Y^2] \geq (E[Y])^2という性質が使える。まあ、今度の場合Yはベクトルとなるので、E[Y^TY](E[Y])^T(E[Y])と書いたほうがいいのかな。この不等式において、左辺はYを展開するとE[Y^TY] = E[(Xv)^T(Xv)] = v^TE[X^TX]vとなり*1、右辺は(E[Y])^T(E[Y]) = (E[Xv])^T(E[Xv]) = v^T(E[X])^T(E[X])vとなる。これより左辺-右辺はv^TE[X^TX]v - v^T(E[X])^T(E[X])v = v^T(E[X^TX]-(E[X])^T(E[X]))v = v^T \mbox{Var}X v \geq 0となる。ここで、\mbox{Var}XはXの分散共分散行列であることに注意。Yをn次元ベクトルとした時にE[Y^2] - (E[Y])^2 \geq {\bf 0}となる性質を使っている。以上より、分散共分散行列は半正定値であることが示せた。

こっちが正しい

これを参考に。

共分散の性質に以下のようなものがある。
\sum^n_{i=1}\sum^n_{j=1}\mbox{Cov}(X_i,X_j)v_iv_j = \mbox{Cov}(\sum^n_{i=1}v_iX_i,\sum^n_{i=1}v_iX_i)
これはIntroduction to the Theory of Statisticsのp179のTheorem2とかに載っているものを少し変形させればよい。
\mbox{Cov}(\sum^n_{i=1}v_iX_i,\sum^n_{i=1}v_iX_i) = \mbox{Var}(\sum^n_{i=1}v_iX_i) \geq 0

半正定値行列となるためには\sum^n_{i=1}\sum^n_{j=1}q_{ij}x_ix_j \geq 0となればよい。ここでq_{ij} = \mbox{Cov}(X_i,X_j)と見なせば、分散共分散行列は半正定値であることが示せたことになる。そういうわけで証明完了となる。ふう。。。

そういえば固有値が全て0以上になる的なところが数理統計学で出てきたんだけど、あの時はなんでこうなるのかよく分かってなかったなあ。

*1:ベクトルの扱いがこれでよいのかしら