うるさすぎる BOT。

スポンサーリンク

某国検索エンジンの BOT で Baiduspider という物がある。
これ結構嫌われ者の BOT なもので robots.txt に「うちはこなくていいよ」と言うようなことを
書いている人が多いと思う。
俺もこれうるさい奴だなと思って robots.txt に書いていたんだけど、当初おとなしくこなかったのに
最近もうシカトこいてクロールしまくり。

で、これもうだめだなと。

$ su –
# iptables -A INPUT 122.152.140.0/23 -j REJECT

二度とくるな!! と。

whois で調べたらこの BOT は日本国内にあって、某国とのゲートウェイになっているようだ。
要は日本国内であれこれデータ集めて本国へ送り込む。それか某国が国内のデータにアクセス。
たぶんこんな感じだと思う。

しかしまぁ、SEO してからかなりクローラーが活発に出入りするのが目に付きますわな。

スポンサーリンク