スパイダリング

というわけで上で見つけた資料とかライブラリとか。

スパイダリング全般

• http://mikilab.doshisha.ac.jp/dia/research/report/2005/0813/008/report20050813008.html

スパイダリングをする上での注意とか。

• Web crawler - Wikipedia, the free encyclopedia

Wikipedia。日本語だとへぼい情報しか載ってないので英語のほうを見たほうがよいと思う。

• Slides: Modeling the Internet and the Web : Probabilistic Methods and Algorithms

スパイダリングに関してのパワーポイントの資料。英語と数学を苦にしない人にはどうぞ。

• http://blog.windy.ac/2005/10/post_196.html

論文のリンク先とか結構書いてあるからリンク先の資料を見てください。ブログ書いてらっしゃる方は電気通信大学の大学院生のかたのようだ。

JSpider

結構有名っぽい100% pure Javaなスパイダリングエンジン。
で、日本語資料も発見した。研究室でこういうのやってるところもあるんだねー。パワーポイントの資料が5つくらい置いてある。かなり充実してると思う。JSpiderで遊んでみようって感じです。自分も後で遊んでみる。
http://blog.windy.ac/archives/000880.html

参考書

Javaスパイダーツールサンプル&クックブック

内容は結構簡単。Javaでスパイダリングしてみたいけど、何をやればいいのか…って人にお勧め。

Spidering Hacks

Perlで色々やってます。自分はあんまりこっちにはついていけてないけど、Perlでコード結構書くよって人には結構お勧めの本です。