記事読了参考時間 1

うるさすぎる BOT。

本記事は最終更新日より 1 年以上経過しております。
スポンサーリンク

某国検索エンジンの BOT で Baiduspider という物がある。
これ結構嫌われ者の BOT なもので robots.txt に「うちはこなくていいよ」と言うようなことを
書いている人が多いと思う。
俺もこれうるさい奴だなと思って robots.txt に書いていたんだけど、当初おとなしくこなかったのに
最近もうシカトこいてクロールしまくり。

で、これもうだめだなと。

$ su –
# iptables -A INPUT 122.152.140.0/23 -j REJECT

二度とくるな!! と。

whois で調べたらこの BOT は日本国内にあって、某国とのゲートウェイになっているようだ。
要は日本国内であれこれデータ集めて本国へ送り込む。それか某国が国内のデータにアクセス。
たぶんこんな感じだと思う。

しかしまぁ、SEO してからかなりクローラーが活発に出入りするのが目に付きますわな。

スポンサーリンク
Diary
著者プロフィール

本格的に PC へ触れ始めてたのは 1990 年位から。
興味は PC 全般。OS は Windows と Linux などを嗜む。
プログラマやネットワークエンジニアを経てフリーに活動している 2 児の父なアラフォーのおじさんです。

ぶっちをフォローする
にほんブログ村 PC家電ブログ 自作PCへ
ぶっちろぐ

コメント

タイトルとURLをコピーしました