最適化理論

Nelder-Mead methodをRで実装した

最適化理論の課題提出期限が過ぎたと思うので、うpします。この辺の軌跡を書くためのコードです。 www.yasuhisay.info Nelder-Mead methodがどんな手法の説明はこの辺に書いている。一行で要約すると、ヘッセ行列、勾配ベクトルすら使わずに関数値のみで動い…

記憶制限準ニュートン法、最適化手法の相互の関連性、そして私が感じたこと

授業を聞いててなかなか興奮したので、これまでのおさらいとともにメモメモ。ニュートン法ニュートン法は目的関数を2次で近似したものだったが、目的関数が2次でないと、ヘッセ行列が正定値行列になるとは限らず、ニュートン方向が降下方向になる保証がない…

Nelder-Mead methodの軌跡

教習所にも通うことになったので、さっさと課題片づけておくかーと思って、Nelder-Mead methodの実装を開始。すぐ終わった。どんな方法かは下に書いた。 Nelder-Mead method - yasuhisa's blog すぐ終わった、だけどこれ多変数最適化の手法であることを考え…

Nelder-Mead method

去年の最適化理論の課題は、準ニュートン法あたりを実装してバナナ関数に適用して軌跡書いてね、というようなものだった(はず)だけど、今年は微妙に違う。今年はNelder-Mead methodというのを使ってバナナ関数で遊んでね、というものに変わった。 wikipedia:…

Rosenbrockのbanana functionを共役勾配法で最適化して、可視化してみた

wikipedia:en:Rosenbrock_functionという有名らしい関数があるんですが、共役勾配法の動きを見てみるためにこの関数で遊んでみました。結果はこんな感じ。 極端すぎないパラメータだと大域的最適解に行ってくれました。コードも簡単。 f <- function(x) { x1 …

共役勾配法を実装してみた

本当は去年みたいなplotをしたいんだけど、面倒(ry。工学基礎 最適化とその応用 (新・工科系の数学)の4.6章で遊んでいる。二次関数の簡単なのをとりあえず。 f <- function(x) { x1 <- x[1]; x2 <- x[2] 3 / 2 * x1^2 + x1 * x2 + x2^2 - 6 * x1 - 7 * x2 } …

最急降下法、共役勾配法辺りのメモ

誰かが「今日何やったか教えて」と言ってたんだけど、記憶から抜けていきそうになっているのでメモ。Zoutendijkの条件去年はどう役に立つか分かってなかったけど、今年は分かるという。からが得られるんだけど、とが直交しないように選んであげれば、はkを無…

Rによる最適化、パラメータ推定入門

パラメータの推定、でもその前に optimize関数について 補足 パラメータの推定 ベルヌーイ分布 定式化(尤度関数) 尤度関数の実装 尤度関数の最適化(パラメータ推定) 正規分布におけるパラメータ推定 まとめ パラメータの推定、でもその前に統計におけるパラ…

最急降下法の大域的収束性

なんだかよく分かんなくなってきはじめたところ。極限操作に微妙に自信が持ててないところとか、線形代数忘れまくってるところとかやばいですね。Zoutendijkの条件「ズーテンダイク」と読むらしいです。ズーテンダイク!!(何。 リプシッツ連続 リプシッツ定数…

最急降下法で最適なバンド幅を計算してみた

ナダラヤワトソン推定量は計算できたわけですが、これにはまだバンド幅hを決めるという問題が残っています。バンド幅を最適なものにする*1ための一つの尺度として、最小二乗クロスバリデーション評価関数を最小にするようにhを選択する、という方法がありま…

2変数関数での最急降下法をRでやってみた

先生が授業でmathematicaを使ってデモを見せてくれたりしたんだけど、「え、それRでできるよ?」と言いたいがためだけに、実装してみるなどしました。元の関数をplotして、最急降下法で、解が改善されて行く様子をplotする簡単なお仕事です。persp関数はあん…

分散共分散行列は半正定値

というのが本当かどうかを示さないといけないっぽい。結果は真。以下を書きなおしながらやってみる(tex記法とベクトルを使って書き直したいらしい)。 分散共分散行列は半正定値? - 数学 | 【OKWAVE】 ここの最後の回答を参考にする。二次モーメントまで存在…

ちょっとメモ

とした時に、ならば行列は正定値になるってのがよく分からない。工学基礎 最適化とその応用 (新・工科系の数学)のP125のところ。とりあえず、とした時に、行列は対称行列になっていることを確認した。対称行列の性質を探していけばどうにかなるのかな。最適…

最適化理論の半正定値の定義と「固有値が0以上」が同値なことの証明

まず「固有値が0より大きい」→最適化理論の正定値の定義()を示す。Aを行列とすると、全てのに対して、かつであるとする。つまり、「固有値が0以上」とする。すると全てのに対してとなり、最適化理論の半正定値の定義を見たしていることが分かる。次に、最適…

局所最適解と正定値

めもめも。。。今日が第一回。今日はごりごり証明とかでした。4章のところをやっている。 大域的最適解であるとは が大域的最適解であるとは、が成立することである。はuniqueである必要はない。 近傍 が定義。とのノルムがで抑えられるようなところ。ノルム…

最急降下法で色々やってみて思ったこと

理論としてはまだ習ったことがないゆとりなんだけど、とりあえず使ってみた感じの感想をつらつらと書いていく。初期値&パラメータの設定最初やってみるまでは、「初期値とかパラメータ*1をよっぽど変にしなきゃ大体うまく行くんだろ?」くらいに思ってた。さ…