読者です 読者をやめる 読者になる 読者になる

#35 A Nonparametric Bayesian Model of Multi-Level Category Learning

AAAI HDP Nonparametric Bayes 論文100本ノック

AAAIのセッション中によく分からなくて質問したやつの論文Nested CRPとどう違うんやという付近がよく分からなかったのだが、論文を普通に読んだら分かった。Nested CRPは完全に教師なし学習でtreeを作っていくが、この論文(tree-HDPと彼等は呼んでいる)では「このインスタンスがどのクラスに所属しているかは分かっている。しかし、クラス間の階層的な関係はunknownなので、それを教師なしで学習しよう」ということのようだ。どのインスタンスにどういうラベルが付いているかは、例えばflickrのタグとか使えるので、そういうタグ間の階層関係が教師なしで自動で作れるというイメージか。他にどう役に立つのかと言われれば正直よく分からないが、secondにGriffithsさん(認知とかそういう関係?)がいるので、こういう階層的なカテゴリの学習をできるような生成モデルを作りたかった、というのがあるのかもしれない => あとであれこれな応用が思い付いたけど、ここには書かないでおこう(笑)。

生成過程やらグラフィカルモデルが陽に書いてないので読みにくいが、HDPみたいな生成過程を考えて

  • treeのrootにおけるパラメータの確率分布G0を基底測度H(一様に近いもの)から生成
  • rootの子ノードにおける確率分布GjをG0から生成
    • その子ノードにおける確率分布を(ry

という感じでやっていく。rootに近いようなところ(例えば動物全般)での確率分布は平らに近い形で、leafに近いようなところ(例えばチワワ)ではもっと特定の場所で棒が立っている分布になっているというイメージ。直感的。treeのprior(flatに近いような木の形をしていることが多いとかすごい深いところまであるやつはちょっとしかいないとかそういう事前知識)はどうやって入れるか。G0をrootとして可能な木の組み合わせに対し一様分布を考えている(簡単さのため。ノード数が決まっているのでできる。Nested CRPだとここは真面目にやらないといけない)。論文中では、このノードの親ノードはどれ、というのをτという変数で管理している。推論はGibbsだが、ところどころcollapse(パラメータを周辺化)しなかったりする変数があるようだ(ちゃんとした意味があるっぽいがそこはあんまり読んでいない)。