Create  Edit  Diff  FrontPage  Index  Search  Changes  History  Source  RSS  wikifarm  Login

antibot

ボットなどの無礼者アクセスの拒否

なんでそんなことするの?

善良な人によるアクセスのレスポンスをちょっとでも高めるため、でしょうか。

基本の知識

IP でさようなら〜

# Naver
Deny from 61.78.61.0/24
Deny from 211.218.151.0/24
Deny from 218.145.25.0/24
Deny from 220.73.165.0/24

# Internet-Html-Searcher
Deny from 61.115.195.180
Deny from 61.115.195.181
Deny from 61.115.195.182

ちなみに Naver については、whois 的にはそれぞれ

  • 61.78.59-63.*
  • 211.218.150-153.*
  • 218.145.25.*
  • 220.73.164-166.*

が範囲のようです。 iptables などで元から絶ちたいのなら http://www.italk.ne.jp/minagawa/tech/krfilter.html を参考に。

UA でさようなら〜

mod_rewrite で。

# deny impolite access
RewriteCond %{HTTP_USER_AGENT} (NABOT|minibot|Internet.Ninja|NaverRobot|Pockey-GetHTML|DTS.Agent|RPT-HTTP|nabot|Getweb|vspider|User-Agent|Zeus|Irvine|Openbot|Gaisbot|Indy\ Library|MSNBOT|Download\ Ninja|Java\(TM\)\ 2|Jabot|colun\'s\ Http-Socket|PerMan|Image\ Collector)
RewriteRule ^(.+) - [F,L]

など。

robots.txt でさようなら〜

User-agent: *
Disallow: /m/
Disallow: /cgi-bin/

User-agent: Whizbang
Disallow: /

User-agent: nabot
Disallow: /

User-agent: Scooter
Disallow: /

User-agent: bumblebee
Disallow: /

User-agent: minibot
Disallow: /

User-agent: Steeler
Disallow: /

User-agent: fast
Disallow: /

User-agent: InfoSeek Sidewinder
Disallow: /

User-agent: BravoBrian SpiderEngine MarcoPolo
Disallow: /

User-agent: http://www.almaden.ibm.com/cs/crawler
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: vspider
Disallow: /

User-agent: dloader
Disallow: /

など。

アクセス同時多発でさようなら〜

突発的な無礼者に有効。継続的に 503 が記録されるホストは上記の他の手段でブロックしてもいいかも。

mod_limitipconn で。

http://kazuhiko.tdiary.net/20030730.html#p02

アクセス頻度しつこすぎでさようなら〜

apache1 なら mod_throttle が使えるかも。

Last modified:2003/08/23 01:37:53
Keyword(s):
References: