関数解析メモ - yasuhisa's blog

カーネル法入門を読むために関数解析について勉強したりしているのであります。ヒルベルト!!

カーネル法入門―正定値カーネルによるデータ解析 (シリーズ多変量データの統計科学)

作者: 福水健次
出版社/メーカー: 朝倉書店
発売日: 2010/11/01
メディア: 単行本
クリック: 19回
この商品を含むブログ (10件) を見る

工学のための関数解析 (工学のための数学)

作者: 山田功
出版社/メーカー: 数理工学社
発売日: 2009/05
メディア: 単行本
購入: 1人クリック: 7回
この商品を含むブログ (2件) を見る

いつもながら関数解析初心者なので間違いまくりだと思いますが、どっかにメモっておかないとすぐ忘れるのでメモ。id:mrcarrot君にはあれこれと教えてもらいながら勉強しています、ありがとうございます。

なんで関数解析(ヒルベルト空間論)?

大学1年とかでやる線形代数はR^Nなどを主に対象としていて、その上で内積とかノルムとかが定義されていた。ところで、例えば $f(x) = x^2$ のような関数は無限個の点からなるベクトルと見なすこともできる。このようにヒルベルト空間論では線形代数で有限次元でやっていたようなことをもっと一般化して無限次元でも似たようなことができないかを考えてやろうっていうようなことが主な目標らしい。

内積とノルム

(あれこれありますけど)線形性を見たすような空間 => ベクトル空間
ベクトル空間の例
- R^N、C^N、行列、多項式、関数(二乗可積分関数)

ノルム空間 => ベクトル空間とそこでのノルムが定義されているような空間
内積空間 => ベクトル空間とそこでの内積が定義されているような空間
- 内積を使ってノルムが定義されている場合( $||x|| = \sqrt{(x, x)}$ )、「内積から誘導されたノルム」ということがある
内積やノルムはのようなものだけでなく、もっと広いもの(内積やノルムの定義さえ満たせばよいのである)
- 昔、最適化理論を勉強してたときに共役な行列を使って内積やノルムを定義したことなどを思い出す => 最急降下法、共役勾配法辺りのメモ - yasuhisa's blog
- 多項式や関数では積分 $(f, g) = \int f(x) g(x) dx$ を使って内積が定義できる

ヒルベルト空間

ヒルベルト空間とは「完備な内積空間」のことなのだが、(内積空間は上でやったとして)完備についてちゃんと抑えておく必要がある。完備性とはベクトル列の収束性について議論するためのものと思っておけばよい。完備とか完備化はQ(有理数)をR(実数)に拡張してあげたときのことを考えてあげればよい。(収束先を仮定して話をしたらダメなんだろそうですが、細かいことはとりあえず置いといて)有理数を使って $\sqrt{2}$ に収束するような点列を作ってあげたとする。しかし、その収束先は $\sqrt{2}$ なので、有理数の集合には含まれておらず実数を使わないと収束性の議論ができなくなってしまう(収束先がはみだしてしまうってこと)。

さて、この完備性などを議論するときにコーシー列についての話が必要になる。コーシー列の定義は、ベクトル列 $\{\mathbf{u}_i\}$ があったとき、以下を満たすもののことを言う。
$\forall \epsilon > 0, \exists N \in \mathbb{N}, s.t. ||\mathbf{u}_i - \mathbf{u}_j|| < \epsilon (i, j > N)$
コーシ列を使うと収束の議論ができて、ベクトル列 $\{\mathbf{u}_i\}$ が $\{\mathbf{u}\}$ に収束するとは
$\exists \mathbf{u} \in V, \forall \epsilon > 0, \exists N \in \mathbb{N}, s.t. ||\mathbf{u}_i - \mathbf{u}|| < \epsilon (i > N)$
と定義される。

ヒルベルト空間はこのような「完備な内積空間」のことを言うのだが、具体例としてはどのようなものがあるであろうか。例としては、R^Nのようなものもこのヒルベルト空間に含まれているし、ルベーグ積分論などで出てきた二乗可積分関数の集合などもヒルベルト空間の例になっている(昔の微妙すぎるメモ。ルベーグ積分30講 (数学30講シリーズ)などを参照)。

ヒルベルト空間の基本的性質

「内積が定義できると何がうれしいか?」の一つに直交するという概念を定義することができる。直交が定義できるとヒルベルト空間の閉部分空間Vとそれの要素と直交するような要素を集めてきたような空間(直交補空間)が定義できるのもうれしいことの一つ(本によっては射影定理と名前が付いている)。カーネル法入門でもあとで使うらしい。

線形作用素

$H_1$ 、 $H_2$ をヒルベルト空間とするとき、写像 $T: H_1 \rightarrow H_2$ が線形性を満たすとき、Tを線形作用素という。線形作用素の例としては微分、積分、フーリエ変換などがあります。このようなTに対し、ある $K \geq 0$ が存在して任意のH_1の要素xに対して
$||T(x)||_{H_2} \leq K ||x||_{H_1}$
が成立するときにTを有界線形作用素と呼ぶ。XからYへの有界線形作用素としては様々なものが考えられるが、XからYへの有界線形作用素全体を $\mathbb{B}(X, Y)$ と書くことにする。 $\mathbb{B}(X, Y)$ という空間ができたので、(内積空間やノルム空間を考えたときと同様に)この空間でのノルムについて考えたい。というわけでノルムを定義したい。有界線形作用素 $T: X \rightarrow Y$ のノルム、有界線形作用素ノルムは
$||T|| = \sup_{x \neq 0} \frac{||T(x)||_{Y}}{||x||_X} = \sup_{x = 1} ||T(x)||_{Y}$
で定義される。写像で飛ばす前と飛ばした先の比の最大値(supだから厳密には違うんだけど)でもってノルムを定義しましょう、ということをやる。ノルムが定義できると、収束性の議論とかができるようになるので便利そうだな、というのはこれまでの流れからなんとなく分かる。

また、有界線形作用素であることとその作用素が連続であるというのが同値という命題(A.4)があり、これによって作用素の連続性についても議論できるようになるのだとか。

Rieszの補題

準備。ベクトル空間XからRへの線形作用素を線形汎関数と定義する。有界な線形汎関数の全体をXの双対空間といい、 $X^* = \mathbb{B}(X, \mathbb{R})$ で表わす。名前に双対と入っていて気になったが、 $X = \mathbb{B}(\mathbb{B}(X^*, \mathbb{R}), \mathbb{R})$ という関係が成り立つから双対というようだ(双対の双対は元の空間に戻る)。また、ヒルベルト空間の双対空間はヒルベルト空間になるという性質もあるそうな(Hilbert space - Wikipedia)。教科書とはちょっと違うが、工学のための関数解析 (工学のための数学)の定理のほうで書いてみる(この本だとリースの表現定理となっている)。

任意の有界線形汎関数 $f \in H^*$ に対して、ある $v_f \in H$ が存在してfは $f(x) = (x, v_f)$ のように表現できる。 $v_f$ はfから一意に決まり、 $||v_f||_H = ||f||$ となる
写像 $\Phi: H^* \rightarrow H, (\Phi(f) = v_f)$ は全単射で等長な線形写像となる