「 日別:2006年01月07日 」一覧

クローラー

 検索エンジンのロボットのこと。Webページを徘徊し、ページを丸ごと持っていき、検索の元とする。

 検索用途ではないが、ロボットを作った。ごく簡単なものだけど、これでちょっとずつデータを集めてデータベースへ突っ込もうという魂胆。

 Webページを取り込む部分と、WebページからURLを抜き出す部分。そしてURLによって取り込むか取り込まないかを判断する部分。わずかなソースコードを書くだけでこれだけのことができてしまう。便利な世の中。

 ただし、相手のサーバーに負荷をかけすぎていらぬ面倒を起こさないために、1分間に2ページだけのクロールにした。おそっ

 明日はホームゲレンデの県民の森。