局所最適解と正定値

めもめも。。。今日が第一回。今日はごりごり証明とかでした。4章のところをやっている。

大域的最適解であるとは

${\bf x}^* \in {\bf R}^n$ が大域的最適解であるとは、 $\forall {\bf x} \in {\bf R}^n \quad f({\bf x}^*) \leq f({\bf x})$ が成立することである。 ${\bf x}^*$ はuniqueである必要はない。

近傍

$N(\bar{\bf x},\epsilon) = \{{\bf x} \in {\bf R}^n | || {\bf x} - \bar{{\bf x}}|| < \epsilon\}$
が定義。 $\bar{\bf x}$ とのノルムが $\epsilon$ で抑えられるようなところ。ノルムは色々種類があって、

2ノルム
1ノルム
∞ノルム

とかが図と一緒に紹介されていた。

局所的最適解であるとは

$\exists \epsilon > 0 \quad \forall {\bf x} \in N({\bf x},\epsilon) \quad f({\bf x}^*) \leq f({\bf x})$
「 $\epsilon$ 近傍では ${\bf x}$ より小さいものはないよ、 $\epsilon$ より外ではいるかもしれないけど」という感じ。

局所的最適解が持っている条件

${\bf x} \in {\bf R}^n$ は局所的最適解
fは ${\bf x}$ のある近傍で連続微分可能

これが言えれば、 $\nabla f({\bf x}) = 0$ であることが言える。これは本当かいな?ということの証明が平均値の定理の高次元版とか背理法を使って証明されていた。

オミクロン関数
偏微分可能だけど、全微分可能ではない例

とかが登場。ここでの「微分可能」というのは全微分可能という意味で使われていることに注意。

fは $\bar{\bf x} \in {\bf R}^n$ で微分可能であるというのをちゃんと書くと、 $\exists {\bf a} \in {\bf R}^n \quad \forall {\bf x} \in {\bf R}^n \quad f({\bf x}) = f(\bar{\bf x}) + {\bf a}^T ({\bf x} - \bar{\bf x}) + \mbox{o}(||{\bf x} - \bar{\bf x}||)$ という感じになる。これはあとでも結構出てきてたかな。

図的な解釈

等高線っぽいのと合成関数をほげほげして。g(t)が定数であるから、g'(0)=0となるというのを利用していく。g'(t)というのは合成関数の微分より、 $g'(0) = (\nabla f (\bar{\bf x}))^T \phi'(0)$ とできるんだけど、これが0であることから、それぞれのベクトルは直交している。等高線の図とかを見るとベクトル $(\nabla f (\bar{\bf x}))$ の向いている方向が分かる、というような流れだった。