研究室の自然言語処理の基礎勉強会でFSNLPを使っていて、今週が自分の担当のところ。2.2章の情報理論。情報理論のテストも終わったばかりということでみんなの頭の中に記憶があるときでよかったです。言語モデルのほうとかは早めにやっていたほうがいいと思うんだけど、普通にFSNLPやってたら結構時間がかかるということでyasuhiro-rが中心になって言語と計算 (4) 確率的言語モデルの勉強会も始まっている(日曜の夜7時から!!)。
ということで、自分の担当のところで時間がかかるのも申し訳ない気がしたので、勉強会で担当だったところをTeXでまとめておきましたので、適当に公開します。
FSNLP2.2.pdf 
- 数式の証明のところはなるべく省略がないように
- 式の直感的理解はどういうことなのか
付近を意識しながら書きました。情報理論の基礎―情報と学習の直観的理解のために (SGC Books)とかを参考にしつつ書いたので、この本も参考になるかと思います。
