Поисковой бот twiceler

by admin · 27 февраля 2010

Имеет привычку нагло игнорировать некоторые директивы robots.txt.

«Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)» юзерагент Twiceler

Пришлось его грохнуть через .htaccess

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^.*Twiceler-0\.9.*$ [NC]
RewriteRule ^.* - [F]

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^.*Twiceler-0\.9.*$ [NC]

RewriteRule ^.* - [F]