読者です 読者をやめる 読者になる 読者になる

言語モデルの応用先

自然言語処理

自然言語処理特論の最終課題は言語モデルを作ることで、評価はテストセットパープレキシティ(PP)によってされる。ちなみに、昨日は簡単な言語モデルを作っていた。Trigramで線形補完法*1。PPが14を下回ったら評価のAがくるのだが、線形補完法を使うとギリギリ達成できない値で絶妙な設定だなぁと思いながら昨日は実験していた。Aが欲しい人はたぶんback-offとかをやらないといけないんだろう。EMアルゴリズムも面白そうなので両方やると思うけど。

せっかくこうやって言語モデルを作るので、何か実際に役に立ちそうな(立たなくても面白そうな)アプリケーションを作ってみたい。簡単なものでもいいので。言語モデルの応用先と言われても、まだ機械翻訳くらいしか思い浮かばない程度の勉強しかしていないので、うむむ、、、とid:reposeと飯を食べながら考えていた。

そんなことをTwitterにつぶやいていたら

というような応用例があることを教えてもらった。意外と身近なところに言語モデルはひそんでいるのだなあ。特に最後のやつなんかはリンクがついてないような文章にはききそうな気がして面白いと思った。PageRank以外知らなかったし。

*1:昨日はまだEMアルゴリズムを知らなかったので、手動でパラメータチューニングをしたのは内緒w