言語教育勉強会にてtoshikazu-tが紹介。文法的な誤り(ここでは冠詞と前置詞の誤りに限定)を直すのに、非学習者(つまり母語話者)の書いたテキストを使って誤り訂正をやるという方法がよく取られていたが、最近では学習者の書いたテキストも誤り訂正に寄与するってことが分かってきた。しかし、その両方を使う研究というのはあまりないので、この論文ではASOという補助問題を使って解く形式の手法を採用。全体の内容はACL HLT 2011 最終日: 自然言語理解の研究がおもしろい - 武蔵野日記が詳しいので、補助問題の作り方とかASOの他の分野への応用についてメモしておきたいと思う。
ASOの補助問題の作り方はあまり直感的じゃないので好きじゃないのだが
- 学習者と非学習者の文をfeatureにしたものから、1つfeatureを除く
- 残りのfeatureを使って取り除いたfeatureを線形識別器を使って予測する問題を解く => 重みベクトルが求まる
- 上の操作を全部のfeatureについてやり、重みベクトルを結合してできる行列をUとする
- このままではすごいでかくて疎な行列なので、SVDをかけることでhの次元の行列に落とす
- しかしながら、実験のところでは行列の要素全部使うとか書いてあって意味が分からない...軸の変換しかしてないじゃん
- 次元を落とした行列を使ってadditional featureを作る
ということを中身ではやっている。違うドメイン(ここでは学習者と非学習者の文)で共通する構造(これはpivotと呼ばれる)を見つけたい、というモチベーション*1で上のようなことをやっているんだろうなとは思いつつ、あまり直感的ではない。自分が言語処理学会で発表した研究はこのpivotに相当するようなものを生成モデルとして表現し、評判分析の分野で応用したというような研究だったりする(そういうわけで、夏にはASOを自分で動かしたりもした)。
この論文ではASO(structural corresponding learningとかいう名前でも出てくる)を言語教育の場面に応用したものになっているが、他の分野での応用例でも
- "John Blitzer, Ryan McDonald, and Fernando Pereira, 2006, In Conference on Empirical Methods, in Natural Language Processing, Sydney, Australia." => 新聞記事とMEDLINEのようなバイオ分野での違いを考慮に入れつつPOS tagging
- "John Blitzer, Mark Dredze, and Fernando Pereira. Biographies, bollywood, boom-boxes and blenders: Domain adaptation for sen- timent classification. In ACL, Prague, Czech Republic, 2007." => ASOを使って違う分野のデータも使って評判分析
- "Cross Lingual Adaptation: An Experiment on Sentiment Classifications, Bin Wei and Chris Pal, ACL2010." => ASOを使って、言語が違うものでも評判分析
などなどがある。言語教育の人たちはあまり転移学習とか興味ないかもしれないが「こっちでこんなデータがあるんだから、こいつも使えないもんかなぁ」という状況があれば転移学習付近を見てみるとヒントが隠れているかもしれない。転移学習自体について知りたければ、神嶌さんのサーベイを見てみるときっと参考になるはず。
@InProceedings{dahlmeier-ng:2011:ACL-HLT2011, author = {Dahlmeier, Daniel and Ng, Hwee Tou}, title = {Grammatical Error Correction with Alternating Structure Optimization}, booktitle = {Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies}, month = {June}, year = {2011}, address = {Portland, Oregon, USA}, publisher = {Association for Computational Linguistics}, pages = {915--923}, url = {http://www.aclweb.org/anthology/P11-1092} }
*1:転移学習ではこういうモチベーションのものが多い
