クローラー
検索エンジンのロボットのこと。Webページを徘徊し、ページを丸ごと持っていき、検索の元とする。
検索用途ではないが、ロボットを作った。ごく簡単なものだけど、これでちょっとずつデータを集めてデータベースへ突っ込もうという魂胆。
Webページを取り込む部分と、WebページからURLを抜き出す部分。そしてURLによって取り込むか取り込まないかを判断する部分。わずかなソースコードを書くだけでこれだけのことができてしまう。便利な世の中。
ただし、相手のサーバーに負荷をかけすぎていらぬ面倒を起こさないために、1分間に2ページだけのクロールにした。おそっ
明日はホームゲレンデの県民の森。
関連記事
コメント
スノボ買ったのでスノボしたいんです。
県民の森、スノボ禁止なんて・・・
近場の寒曳に行きます。
また、タイトル変わってますね。
毎日週末計画は延期ですか？
去年までのchikaさんはドコへ・・・
計画は当然続行中ですよ。
私は25ｍクロールで泳ぎきる自信がありません
じゃぁ5mでいいよ！
瀬で上流に向かって！