記憶制限準ニュートン法、最適化手法の相互の関連性、そして私が感じたこと

授業を聞いててなかなか興奮したので、これまでのおさらいとともにメモメモ。ニュートン法ニュートン法は目的関数を2次で近似したものだったが、目的関数が2次でないと、ヘッセ行列が正定値行列になるとは限らず、ニュートン方向が降下方向になる保証がない…