クローラー
検索エンジンのロボットのこと。Webページを徘徊し、ページを丸ごと持っていき、検索の元とする。
検索用途ではないが、ロボットを作った。ごく簡単なものだけど、これでちょっとずつデータを集めてデータベースへ突っ込もうという魂胆。
Webページを取り込む部分と、WebページからURLを抜き出す部分。そしてURLによって取り込むか取り込まないかを判断する部分。わずかなソースコードを書くだけでこれだけのことができてしまう。便利な世の中。
ただし、相手のサーバーに負荷をかけすぎていらぬ面倒を起こさないために、1分間に2ページだけのクロールにした。おそっ
明日はホームゲレンデの県民の森。