Hadoop

Hadoopメモ

この前やってて出てきた疑問を、id:mamorukさんに聞いて解決。ありがとうございました。 Mapperの数を指定できなかった件 指定はできるようだ。ただ、オプションに一貫性がないような。。。"-D"の場所を変えると動かなかったり。Mapperの数は指定はできるけ…

スタンドアローンモードではなく、複数台のサーバーで動かす

一台ではえらく簡単だったんだけど 複数台では結構つまづいた できたけどうまく理解できていない できたけど、もっと効率よくできるんじゃないか などなどあったので記録を取っておく。複数台のサーバーで(mapとかreduceを)動かすための鍵になるコマンドがあ…

Hadoop Streamingを動かしてみる

NLP.appの課題をやりたいと挙手したので(2週間後なのでテストを挟んでもきっと大丈夫なはず)、Hadoopを動かしてみる。Hadoopはmake installとかやらない感じのようで、shellに設定をちょっと書いてやる(.zshrcとかをいじりたくなければ、conf/hadoop-env.sh…