というわけで上で見つけた資料とかライブラリとか。 スパイダリング全般 http://mikilab.doshisha.ac.jp/dia/research/report/2005/0813/008/report20050813008.html スパイダリングをする上での注意とか。 Web crawler - Wikipedia, the free encyclopedia …