はまった。。。

boost::tokenizerでうまくいかないときがあるなあと思っていたらはまっていた。

このようにやると、結果がめちゃくちゃです。悩んだ挙句 tokenizer.hpp を覗いてみて原因判明。tokenizer 内部では、コンストラクタの第1引数で渡されたオブジェクトの iterator を使っているので、1時オブジェクトを渡してはいけなかったんですね。

http://mugiwara.jp/ki/?200312a