読者です 読者をやめる 読者になる 読者になる

ちょっとメモ

最適化理論 固有値

A \in {\bf R}^{m \times n}とした時に、\mbox{rank}A = nならば行列A^TAは正定値になるってのがよく分からない。工学基礎 最適化とその応用 (新・工科系の数学)のP125のところ。

とりあえず、A \in {\bf R}^{2 \times 3}とした時に、行列A^TAは対称行列になっていることを確認した。対称行列の性質を探していけばどうにかなるのかな。最適化理論の第一回目では、{\bf x}^T A {\bf x} \geq 0となっているものを正定値、と定義してあったがそれと同値な定義の仕方がいくつかあるようだ。講座 数学の考え方〈3〉線形代数―基礎と応用のP80では、

実対称行列Aの固有値がすべて正の時、行列Aは正定値であると言う。

と定義してある。であるから

  • A^TAは実対称行列となっていた
  • {\bf x}^T A {\bf x} \geq 0」と「固有値が全て正」が同値というのを示せればよい

実際の行列が与えられればいいんだけど、実対称行列だけだと固有値の性質って示せるのかなあ。と思ったら、演習と応用 線形代数 (新・演習数学ライブラリ)には「実対称行列の固有値は全て実数である」(P113)と書いてある。むむ、これだけじゃ固有値が全部正って言えないじゃないか。ああ、だから\mbox{rank}A = nっていう条件とかが入ってくるのか。

追記

自分で示そうと思ったら挫折した。背理法とかやってみようとしたり、首座部分行列の行列式が0より大きくなることを一般の場合で示そうと思ったけど、どう考えても一般の行列式をごにょごにょして0よりでかいことは示せそうにありません。

とかやっていたら、統計のための行列代数 上 (1)のP257にどんぴしゃな証明があった。

Pを任意のn \times m行列とする。m \times m行列P^TPは非負定値である。もし、\mbox{rank}P = mならば、P^TPは正定値であり、そうでなければ、P^TPは半正定値である。

証明には、P^TP=P^T I PであることとIが正定値であること、定理14.2.9が利用されていた。Iが正定値なのは考えれば{\bf x}^T I {\bf x} = \sum^n_{i=1}x_i^2 \geq 0だから当たり前。定理14.2.9というのは以下のようなもの。

Aをn \times n行列、Pをn \times m行列とする。

  1. もしAが非負定値ならば、P^APも非負定値である
  2. もしAが非負定値でかつ\mbox{rank}P < mならば、P^TAPは半正定値である
  3. もしAが正定値でかつ\mbox{rank}P = mならば、P^TAPは正定値である

今回僕が証明に使うのは3の場合、ということになる。この3つの証明は本に載っているので割愛することにする。

雑惑

A \in {\bf R}^{m \times n}とした時に、\mbox{rank}A = nならば行列A^TAは正定値になる」っていうことを示すのには、結局「授業で紹介された正定値の定義と固有値が全て0以上になるというのが同値」というのを証明しなくてよかったことになるわけか。でも、今後のことを考えるとなんでこれが同値なのかは知っておく必要があるだろうな。来週の授業で先生に聞く必要がありそうだ。

統計のための行列代数 上 (1)は初めて役にたったわけだけど、証明も分かりやすい形でかなりの場合について与えてあるので結構よい本だと思う。Amazonの商品の説明のところに

この本では原則として全ての定理に証明がついている。また、それぞれの理論の道筋の途中で読者がつまづきやすい箇所には、「どこがわかればわかるのか」を明らかにしつつ「なぜそうなるのか」が懇切丁寧に解説されている。

とあるけど、納得。まさに今回僕がやったことそのものである。現在6刷というのもなるほどである。

統計のための行列代数 上 (1)

統計のための行列代数 上 (1)