Поисковой бот twiceler

Имеет привычку нагло игнорировать некоторые директивы robots.txt.

«Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)» юзерагент Twiceler

Пришлось его грохнуть через .htaccess

You may also like...