ちょっとメモ - yasuhisa's blog

$A \in {\bf R}^{m \times n}$ とした時に、 $\mbox{rank}A = n$ ならば行列 $A^TA$ は正定値になるってのがよく分からない。工学基礎最適化とその応用 (新・工科系の数学)のP125のところ。

とりあえず、 $A \in {\bf R}^{2 \times 3}$ とした時に、行列 $A^TA$ は対称行列になっていることを確認した。対称行列の性質を探していけばどうにかなるのかな。最適化理論の第一回目では、 ${\bf x}^T A {\bf x} \geq 0$ となっているものを正定値、と定義してあったがそれと同値な定義の仕方がいくつかあるようだ。講座数学の考え方〈3〉線形代数―基礎と応用のP80では、

実対称行列Aの固有値がすべて正の時、行列Aは正定値であると言う。

と定義してある。であるから

$A^TA$ は実対称行列となっていた
「」と「固有値が全て正」が同値というのを示せればよい
- ここに示した

実際の行列が与えられればいいんだけど、実対称行列だけだと固有値の性質って示せるのかなあ。と思ったら、演習と応用線形代数 (新・演習数学ライブラリ)には「実対称行列の固有値は全て実数である」(P113)と書いてある。むむ、これだけじゃ固有値が全部正って言えないじゃないか。ああ、だから $\mbox{rank}A = n$ っていう条件とかが入ってくるのか。

追記

自分で示そうと思ったら挫折した。背理法とかやってみようとしたり、首座部分行列の行列式が0より大きくなることを一般の場合で示そうと思ったけど、どう考えても一般の行列式をごにょごにょして0よりでかいことは示せそうにありません。

とかやっていたら、統計のための行列代数上 (1)のP257にどんぴしゃな証明があった。

Pを任意の $n \times m$ 行列とする。 $m \times m$ 行列 $P^TP$ は非負定値である。もし、 $\mbox{rank}P = m$ ならば、 $P^TP$ は正定値であり、そうでなければ、 $P^TP$ は半正定値である。

証明には、 $P^TP=P^T I P$ であることとIが正定値であること、定理14.2.9が利用されていた。Iが正定値なのは考えれば ${\bf x}^T I {\bf x} = \sum^n_{i=1}x_i^2 \geq 0$ だから当たり前。定理14.2.9というのは以下のようなもの。

Aを $n \times n$ 行列、Pを $n \times m$ 行列とする。

もしAが非負定値ならば、 $P^AP$ も非負定値である

もしAが非負定値でかつ $\mbox{rank}P < m$ ならば、 $P^TAP$ は半正定値である

もしAが正定値でかつ $\mbox{rank}P = m$ ならば、 $P^TAP$ は正定値である

今回僕が証明に使うのは3の場合、ということになる。この3つの証明は本に載っているので割愛することにする。

雑惑

「 $A \in {\bf R}^{m \times n}$ とした時に、 $\mbox{rank}A = n$ ならば行列 $A^TA$ は正定値になる」っていうことを示すのには、結局「授業で紹介された正定値の定義と固有値が全て0以上になるというのが同値」というのを証明しなくてよかったことになるわけか。でも、今後のことを考えるとなんでこれが同値なのかは知っておく必要があるだろうな。来週の授業で先生に聞く必要がありそうだ。

統計のための行列代数上 (1)は初めて役にたったわけだけど、証明も分かりやすい形でかなりの場合について与えてあるので結構よい本だと思う。Amazonの商品の説明のところに