• このエントリーをはてなブックマークに追加

クローラー

 検索エンジンのロボットのこと。Webページを徘徊し、ページを丸ごと持っていき、検索の元とする。

 検索用途ではないが、ロボットを作った。ごく簡単なものだけど、これでちょっとずつデータを集めてデータベースへ突っ込もうという魂胆。

 Webページを取り込む部分と、WebページからURLを抜き出す部分。そしてURLによって取り込むか取り込まないかを判断する部分。わずかなソースコードを書くだけでこれだけのことができてしまう。便利な世の中。

 ただし、相手のサーバーに負荷をかけすぎていらぬ面倒を起こさないために、1分間に2ページだけのクロールにした。おそっ

 明日はホームゲレンデの県民の森。

  • このエントリーをはてなブックマークに追加

コメント

  1. chika より:

    スノボ買ったのでスノボしたいんです。
    県民の森、スノボ禁止なんて・・・
    近場の寒曳に行きます。

    また、タイトル変わってますね。
    毎日週末計画は延期ですか?

  2. quickturn. より:

    去年までのchikaさんはドコへ・・・
    計画は当然続行中ですよ。

  3. しぇりい より:

    私は25mクロールで泳ぎきる自信がありません :bad:

  4. quickturn. より:

    じゃぁ5mでいいよ!
    瀬で上流に向かって!

WordPress/Twitter/Facebookのアカウントも使えるようになりました。

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください