#33 Towards Large-Scale Collaborative Planning: Answering High-Level Search Queries Using Human Computation

コード書きに疲れたので休憩がてら読んだ。数式が全く出てこないし難しいことはしていない。が、方向性として割と(?)新しい系の論文。

情報検索のタスクを考える。(IRのほうは全く追っていないので変なことは言えないが、少なくとも)現状の検索エンジンでは"I want to live a more healthy life"のようなqueryをまともに処理することはできない。そこで、AAAI2011のチュートリアルでもあっていたHuman Computationという技術を使う。早い話が難しいタスクは人間様に相談するのである。そういう意味でなりふり構わない感じではある。

この論文ではCrowPlanという手法を提案していて(人間様にやっていただくところは「人間:」と書いてある)

人間: 抽象的で難しそうなタスクを具体的なgoalにdecompose。goalに関係ありそうなqueryに書き変える
人間: goalとqueryのpairに関してどれくらいいいかの評価を与える
評価に基づいてフィルタリング
生き残ったもので検索、結果を統合

という感じのもの。人間にやらせないところは機械学習とかで難しいことをやるわけではなくGoogle APIを叩いたりしていて機械学習の研究者からすると「えー」って感じかもしれない...w。実験は3種類やっているが、最後のほうに既存の検索エンジンと比較したときの使い心地のコメントがいくつか書いてあるが「提案法の結果はspecificすぎるから既存のがいいとか」、「何検索したい自分で知ってるから既存のでいいし」というような否定的なコメントもあって、全てのmission(I want to live a more healthy life"みたいなの)をdecomposeする必要は必ずしもないとかって付近は面白かった。検索エンジンみたいなフィールドだと、人間のほうが検索エンジンに合わせるのが普通になってきてしまっているような気がするので、そういうのに慣れていない人だとどう感じるのかとかそういうのも気になる。後は同じような精度を達成するんだったら人に聞くのは最小限にしたほうがコスト下げられるので何かといいと思うのだけれども、どういう質問は聞くべきでどういう質問は聞く必要ないとかそういう方向が考えられるのかな。あとはタスク自体の設計か。