NLP.app

#23 Map-Reduce for Machine Learning on Muiticore

Olukotun, NIPS-2006.id:mamorukさんによる紹介。Multicore上でのMap-Reduceを機械学習でやる話。「SVMを並列でやれるようにしたよ(pSVMとかcascaded SVMとか)」とかそういうものではなく、Statistical Query modelという範疇にあるモデルのクラスでsummatio…

スタンドアローンモードではなく、複数台のサーバーで動かす

一台ではえらく簡単だったんだけど 複数台では結構つまづいた できたけどうまく理解できていない できたけど、もっと効率よくできるんじゃないか などなどあったので記録を取っておく。複数台のサーバーで(mapとかreduceを)動かすための鍵になるコマンドがあ…

Hadoop Streamingを動かしてみる

NLP.appの課題をやりたいと挙手したので(2週間後なのでテストを挟んでもきっと大丈夫なはず)、Hadoopを動かしてみる。Hadoopはmake installとかやらない感じのようで、shellに設定をちょっと書いてやる(.zshrcとかをいじりたくなければ、conf/hadoop-env.sh…

#20 Large Language Models in Machine Translation

Thorsten Brants, Ashok C. Popat, Peng Xu, Franz J. Och, Jeffrey Dean, EMNLP-2007内容は結構シンプル。目的意識としては How might one build a language model that allows scaling to very large amounts of training data?(どーやってでかいデータで…

自然言語処理の応用勉強会キックオフミーティング

新しく今年できた勉強会(NLP.app)のキックオフミーティング。NLP.appは外部に公開して大丈夫と言われたのでなるべく書いていく方針で!!NLPのタスク的には 述語項構造解析(predicate-argument structure analysis) 意味役割付与(semantic role labeling) を主…