関数解析メモ

カーネル法入門を読むために関数解析について勉強したりしているのであります。ヒルベルト!!

カーネル法入門―正定値カーネルによるデータ解析 (シリーズ 多変量データの統計科学)

カーネル法入門―正定値カーネルによるデータ解析 (シリーズ 多変量データの統計科学)

工学のための関数解析 (工学のための数学)

工学のための関数解析 (工学のための数学)

いつもながら関数解析初心者なので間違いまくりだと思いますが、どっかにメモっておかないとすぐ忘れるのでメモ。id:mrcarrot君にはあれこれと教えてもらいながら勉強しています、ありがとうございます。

なんで関数解析(ヒルベルト空間論)?

大学1年とかでやる線形代数はR^Nなどを主に対象としていて、その上で内積とかノルムとかが定義されていた。ところで、例えばf(x) = x^2のような関数は無限個の点からなるベクトルと見なすこともできる。このようにヒルベルト空間論では線形代数で有限次元でやっていたようなことをもっと一般化して無限次元でも似たようなことができないかを考えてやろうっていうようなことが主な目標らしい。

内積とノルム

  • (あれこれありますけど)線形性を見たすような空間 => ベクトル空間
  • ベクトル空間の例
    • R^N、C^N、行列、多項式、関数(二乗可積分関数)
  • ノルム空間 => ベクトル空間とそこでのノルムが定義されているような空間
  • 内積空間 => ベクトル空間とそこでの内積が定義されているような空間
    • 内積を使ってノルムが定義されている場合(||x|| = \sqrt{(x, x)})、「内積から誘導されたノルム」ということがある
  • 内積やノルムはx^T yのようなものだけでなく、もっと広いもの(内積やノルムの定義さえ満たせばよいのである)

ヒルベルト空間

ヒルベルト空間とは「完備な内積空間」のことなのだが、(内積空間は上でやったとして)完備についてちゃんと抑えておく必要がある。完備性とはベクトル列の収束性について議論するためのものと思っておけばよい。完備とか完備化はQ(有理数)をR(実数)に拡張してあげたときのことを考えてあげればよい。(収束先を仮定して話をしたらダメなんだろそうですが、細かいことはとりあえず置いといて)有理数を使って\sqrt{2}に収束するような点列を作ってあげたとする。しかし、その収束先は\sqrt{2}なので、有理数の集合には含まれておらず実数を使わないと収束性の議論ができなくなってしまう(収束先がはみだしてしまうってこと)。

さて、この完備性などを議論するときにコーシー列についての話が必要になる。コーシー列の定義は、ベクトル列\{\mathbf{u}_i\}があったとき、以下を満たすもののことを言う。
\forall \epsilon > 0, \exists N \in \mathbb{N}, s.t. ||\mathbf{u}_i - \mathbf{u}_j|| < \epsilon (i, j > N)
コーシ列を使うと収束の議論ができて、ベクトル列\{\mathbf{u}_i\}\{\mathbf{u}\}に収束するとは
\exists \mathbf{u} \in V, \forall \epsilon > 0, \exists N \in \mathbb{N}, s.t. ||\mathbf{u}_i - \mathbf{u}|| < \epsilon (i > N)
と定義される。

ヒルベルト空間はこのような「完備な内積空間」のことを言うのだが、具体例としてはどのようなものがあるであろうか。例としては、R^Nのようなものもこのヒルベルト空間に含まれているし、ルベーグ積分論などで出てきた二乗可積分関数の集合などもヒルベルト空間の例になっている(昔の微妙すぎるメモルベーグ積分30講 (数学30講シリーズ)などを参照)。

ヒルベルト空間の基本的性質

「内積が定義できると何がうれしいか?」の一つに直交するという概念を定義することができる。直交が定義できるとヒルベルト空間の閉部分空間Vとそれの要素と直交するような要素を集めてきたような空間(直交補空間)が定義できるのもうれしいことの一つ(本によっては射影定理と名前が付いている)。カーネル法入門でもあとで使うらしい。

線形作用素

H_1H_2をヒルベルト空間とするとき、写像T: H_1 \rightarrow H_2が線形性を満たすとき、Tを線形作用素という。線形作用素の例としては微分、積分、フーリエ変換などがあります。このようなTに対し、あるK \geq 0が存在して任意のH_1の要素xに対して
||T(x)||_{H_2} \leq K ||x||_{H_1}
が成立するときにTを有界線形作用素と呼ぶ。XからYへの有界線形作用素としては様々なものが考えられるが、XからYへの有界線形作用素全体を\mathbb{B}(X, Y)と書くことにする。\mathbb{B}(X, Y)という空間ができたので、(内積空間やノルム空間を考えたときと同様に)この空間でのノルムについて考えたい。というわけでノルムを定義したい。有界線形作用素T: X \rightarrow Yのノルム、有界線形作用素ノルムは
||T|| = \sup_{x \neq 0} \frac{||T(x)||_{Y}}{||x||_X} = \sup_{x = 1} ||T(x)||_{Y}
で定義される。写像で飛ばす前と飛ばした先の比の最大値(supだから厳密には違うんだけど)でもってノルムを定義しましょう、ということをやる。ノルムが定義できると、収束性の議論とかができるようになるので便利そうだな、というのはこれまでの流れからなんとなく分かる。

また、有界線形作用素であることとその作用素が連続であるというのが同値という命題(A.4)があり、これによって作用素の連続性についても議論できるようになるのだとか。

Rieszの補題

準備。ベクトル空間XからRへの線形作用素を線形汎関数と定義する。有界な線形汎関数の全体をXの双対空間といい、X^* = \mathbb{B}(X, \mathbb{R})で表わす。名前に双対と入っていて気になったが、X = \mathbb{B}(\mathbb{B}(X^*, \mathbb{R}), \mathbb{R})という関係が成り立つから双対というようだ(双対の双対は元の空間に戻る)。また、ヒルベルト空間の双対空間はヒルベルト空間になるという性質もあるそうな(Hilbert space - Wikipedia)。教科書とはちょっと違うが、工学のための関数解析 (工学のための数学)の定理のほうで書いてみる(この本だとリースの表現定理となっている)。

  1. 任意の有界線形汎関数f \in H^*に対して、あるv_f \in Hが存在してfはf(x) = (x, v_f)のように表現できる。v_fはfから一意に決まり、||v_f||_H = ||f||となる
  2. 写像\Phi: H^* \rightarrow H, (\Phi(f) = v_f)は全単射で等長な線形写像となる

この定義は元のヒルベルト空間とその双対空間での関係性について述べていて、その関係が内積で書き表わせ、しかもそのベクトル同士のノルムは等しい、ということを言っている。