分散共分散行列は半正定値

というのが本当かどうかを示さないといけないっぽい。結果は真。以下を書きなおしながらやってみる(tex記法とベクトルを使って書き直したいらしい)。

分散共分散行列は半正定値？ - 数学 | 【OKWAVE】

ここの最後の回答を参考にする。二次モーメントまで存在するような確率変数Yを考える。 $\mbox{Var\{Y\}} = E[(Y - E[Y])^2 \geq 0$ であるけど、 $\mbox{Var\{Y\}} = E[Y^2] - (E[Y])^2$ でもある。これから $E[Y^2] \geq (E[Y])^2$ とすぐに分かる。で、あとでこの性質を使う。

以下嘘書いてます。間違い!!

期待値の使い方とか間違いまくってるよ!!
ここで、 $n \times n$ の行列Xについて考える。任意のn次元ベクトル $v=(v_1,\cdots,v_n)$ に対して、 $Y = Xv = X_1 v_1 + \cdots + X_n v_n$ と置く。するとYは確率変数の和であるから、当然Y自身も確率変数となる。なので、上で示した $E[Y^2] \geq (E[Y])^2$ という性質が使える。まあ、今度の場合Yはベクトルとなるので、 $E[Y^TY]$ 、 $(E[Y])^T(E[Y])$ と書いたほうがいいのかな。この不等式において、左辺はYを展開すると $E[Y^TY] = E[(Xv)^T(Xv)] = v^TE[X^TX]v$ となり*1、右辺は $(E[Y])^T(E[Y]) = (E[Xv])^T(E[Xv]) = v^T(E[X])^T(E[X])v$ となる。これより左辺-右辺は $v^TE[X^TX]v - v^T(E[X])^T(E[X])v = v^T(E[X^TX]-(E[X])^T(E[X]))v = v^T \mbox{Var}X v \geq 0$ となる。ここで、 $\mbox{Var}X$ はXの分散共分散行列であることに注意。Yをn次元ベクトルとした時に $E[Y^2] - (E[Y])^2 \geq {\bf 0}$ となる性質を使っている。以上より、分散共分散行列は半正定値であることが示せた。

こっちが正しい

これを参考に。

多次元正規分布のパラメータに対する仮定（条件） - 数学 | 【OKWAVE】

共分散の性質に以下のようなものがある。
$\sum^n_{i=1}\sum^n_{j=1}\mbox{Cov}(X_i,X_j)v_iv_j = \mbox{Cov}(\sum^n_{i=1}v_iX_i,\sum^n_{i=1}v_iX_i)$
これはIntroduction to the Theory of Statisticsのp179のTheorem2とかに載っているものを少し変形させればよい。
$\mbox{Cov}(\sum^n_{i=1}v_iX_i,\sum^n_{i=1}v_iX_i) = \mbox{Var}(\sum^n_{i=1}v_iX_i) \geq 0$

半正定値行列となるためには $\sum^n_{i=1}\sum^n_{j=1}q_{ij}x_ix_j \geq 0$ となればよい。ここで $q_{ij} = \mbox{Cov}(X_i,X_j)$ と見なせば、分散共分散行列は半正定値であることが示せたことになる。そういうわけで証明完了となる。ふう。。。