情報幾何学

  • 曲った空間を考える
    • 局所的には線形空間と捉えられる
  • 双対接続を用いた微分幾何学(???)
  • 内積で、行列を挟んだものを「計量」と呼ぶ
    • 共役勾配法の共役方向を作るときに出てきたやつ
  • 別の基底ベクトルを導出
    • さっき作った行列Gの逆行列になっている
    • そういうベクトルを随伴行列という
  • 計量
    • 基底ベクトル同士での内積
  • 元の空間と双対の空間での内積を持ってくる
  • sigmaがあるとして考える => Einsteinの規約
  • 確率分布を有限次元多様体とみなす
    • 変数変換しても分布自体は分からない
  • 座標系で距離が変わってしまう
  • 局面を平面で近似する
    • 接平面
    • 基底ベクトルさえあれば、それの線形和で書ける
  • 線形空間で近似できるが、隣接しているところとの対応関係を決めてあげたい
    • この対応関係を決めるのが、Affine「接続」
  • ある確率分布を別のところに飛ばすオペレータ、でいいらしい
    • 接続を使って、ちょっとづつ動かしていく
      • \gammaに沿って => この\gammaに依存している
  • 微分を定義したい <= ちょっとづつ動かすということを考えたいので
    • 違うところにあるので、Affine接続を使って同じ線形空間に持ってきてあげたい
  • 方向を決めて、その方向への微分 => 共変微分
    • 共変微分と接続は同じようなものを表わしていた
  • 計量接続
    • 平行移動に対して内積が不変
  • 平坦 => 普通のユークリッドより広い概念
    • さっきの\gammaに依存しない、ということ
  • 曲った空間での距離 => 測地線
  • 接続をpairで考えることで、一意に決めないで内積を保存できるようにしたい
    • 双対接続
  • D(q||p)は入れ変えると違ったものになるが、入れ変えたものは双対なほうでのdivergenceになっている
  • 曲っている空間での射影とか直交性を考えることができる
    • 拡張Pythagorasの定理
  • 統計モデルでの計量はFisher情報行列しかない
    • 確率モデルは球面上に存在していると考えるのが自然
  • 指数分布族に変換すると、正規分布とかは平坦と考えられる
  • e接続とm接続
    • 足してlogを取るか、logを取って足すか
  • 指数分布族での\delta^{*}-divergenceはKullback-Leibler Divergenceになっている