不審なロボットアクセス 
2008/10/21, 19:27 - ＩＴ
サイトのアクセスログを眺めていると、下記のようなUSER-AGENTで不審なロボットアクセスを発見！

Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)

なんか適当にブログのエントリを採点してるみたい。。
誰が採点してくれてるんだろ？と気になってはいたがコイツか！！
アクセス元のＩＰは・・・ワシントンＤＣってか！？

あと Baiduspiderてやつも頻繁にアクセスがる。
調べてみると中国のクローラーらしい。

気持ち悪いので robots.txt に拒否設定を入れる。

【robots.txt】
------------------------------------------------
User-agent: Twiceler
Disallow: /

User-agent: baiduspider
Disallow: /
------------------------------------------------

robots.txt が無視されるかもしれないので、
念の為 .htaccess にも拒否設定を入れる。
（本サーバは .htaccessでの設定上書きが許可されているので。）

【.htaccess】
------------------------------------------------
# 不審なロボットアクセスの拒否
SetEnvIf User-Agent Twiceler spamrobot
SetEnvIf User-Agent Baiduspider spamrobot
Deny from env=spamrobot
------------------------------------------------


じゃ、練習行ーこおっと。
  |  このエントリーのURL


戻る