! ボットなどの無礼者アクセスの拒否

!! なんでそんなことするの?

善良な人によるアクセスのレスポンスをちょっとでも高めるため、でしょうか。

!! 基本の知識

* [[robot はぢきについて|http://c-moon.jp/robots.shtml]]

!! IP でさようなら〜

 # Naver
 Deny from 61.78.61.0/24 
 Deny from 211.218.151.0/24 
 Deny from 218.145.25.0/24 
 Deny from 220.73.165.0/24
 
 # Internet-Html-Searcher
 Deny from 61.115.195.180
 Deny from 61.115.195.181
 Deny from 61.115.195.182

ちなみに Naver については、whois 的にはそれぞれ
* 61.78.59-63.*
* 211.218.150-153.*
* 218.145.25.*
* 220.73.164-166.*
が範囲のようです。
iptables などで元から絶ちたいのなら
http://www.italk.ne.jp/minagawa/tech/krfilter.html
を参考に。

!! UA でさようなら〜

mod_rewrite で。

 # deny impolite access
 RewriteCond %{HTTP_USER_AGENT} (NABOT|minibot|Internet.Ninja|NaverRobot|Pockey-GetHTML|DTS.Agent|RPT-HTTP|nabot|Getweb|vspider|User-Agent|Zeus|Irvine|Openbot|Gaisbot|Indy\ Library|MSNBOT|Download\ Ninja|Java\(TM\)\ 2|Jabot|colun\'s\ Http-Socket|PerMan|Image\ Collector)
 RewriteRule ^(.+) - [F,L]

など。

!! robots.txt でさようなら〜

 User-agent: *
 Disallow: /m/
 Disallow: /cgi-bin/
 
 User-agent: Whizbang
 Disallow: /
 
 User-agent: nabot
 Disallow: /
 
 User-agent: Scooter
 Disallow: /
 
 User-agent: bumblebee
 Disallow: /
 
 User-agent: minibot
 Disallow: /
 
 User-agent: Steeler
 Disallow: /
 
 User-agent: fast
 Disallow: /
 
 User-agent: InfoSeek Sidewinder
 Disallow: /
 
 User-agent: BravoBrian SpiderEngine MarcoPolo
 Disallow: /
 
 User-agent: http://www.almaden.ibm.com/cs/crawler
 Disallow: /
 
 User-agent: TurnitinBot
 Disallow: /
 
 User-agent: vspider
 Disallow: /
 
 User-agent: dloader
 Disallow: /

など。

!! アクセス同時多発でさようなら〜

突発的な無礼者に有効。継続的に 503 が記録されるホストは上記の他の手段でブロックしてもいいかも。

[[mod_limitipconn|http://dominia.org/djao/limitipconn2.html]] で。

→ http://kazuhiko.tdiary.net/20030730.html#p02

!! アクセス頻度しつこすぎでさようなら〜

apache1 なら mod_throttle が使えるかも。