この記事は最終更新日より 1 年以上経過しています。
画像やリンクが無効になっている可能性もあるのでご了承下さい。
画像やリンクが無効になっている可能性もあるのでご了承下さい。
某国検索エンジンの BOT で Baiduspider という物がある。
これ結構嫌われ者の BOT なもので robots.txt に「うちはこなくていいよ」と言うようなことを
書いている人が多いと思う。
俺もこれうるさい奴だなと思って robots.txt に書いていたんだけど、当初おとなしくこなかったのに
最近もうシカトこいてクロールしまくり。
で、これもうだめだなと。
$ su –
# iptables -A INPUT 122.152.140.0/23 -j REJECT
二度とくるな!! と。
whois で調べたらこの BOT は日本国内にあって、某国とのゲートウェイになっているようだ。
要は日本国内であれこれデータ集めて本国へ送り込む。それか某国が国内のデータにアクセス。
たぶんこんな感じだと思う。
しかしまぁ、SEO してからかなりクローラーが活発に出入りするのが目に付きますわな。
コメント