Лирическое отступление: Пересматриваю «Секретные материалы». Отметил, что Скали хорошеет с каждым сезоном. Слава богу, мода 90-х в четвертом сезоне изменилась в лучшую сторону и ушли в никуда бешеные женские костюмы с широченными брюками и плечами. В этих балахонах Джиллиан Андерсон, с ее, мягко говоря, небольшим ростом[toolfaq]ага, метр с кепкой в прыжке на коньках[/toolfaq] смотрелась какой-то квадратной. А сейчас ниче так, приталенные пиджачки, узкое личико. А судя по ранним фильмам – возбужденные соски торчат аж на сантиметр – по неосторожности можно и глаз выколоть. Горячая штучка.
Вобщем ябывдул. 
Впрочем, сегодня у нас не об этом. Сегодня, дорогие дети, пришедшие из доброго Гугла, который продолжает любить и индексировать Звиздец, я расскажу вам, как послать Яндекс наxуй. Да-да, ошибки нет. Если вы попали под
АГС – первым вашим действием после бессмысленной и беспощадной переписки с роботом техподдержки должно быть экстренное принятие всех мер к тому, чтобы Яндекс про вас забыл. Т.е. для него сайт должен перестать существовать – все страницы должны исчезнуть из кэша, заходы робота должны прекратиться, вобщем для яши вы должны прикинуться шлангом.
Запрет индексирования сайта Яндексом через robots.txt
Для тех, кто не обременен обязательствами перед какими либо сервисами сделать это предельно просто. Пишем в файле robots.txt , который лежит в корне любого уважающего себя сайта волшебные строчки:
И вуаля – при обращении к сайту яша видит, что ему здесь не рады… видит-то он видит, но вот уйдет ли? Периодически проскакивают сообщения о том, что наглый Яков может напрочь игнорировать robots.txt продолжать спокойно индексировать все ваше грязное белье. Зачастую на радость хацкерам-школоло, начитавшимся сообщений про уязвимости в античате и запустившим поиск по фрагменту адреса. Хотя в наше прогрессивное время даже самые зеленые кулхацкеры доверяют такую задачу Гугле.
Запрет обращений к сайту методом фильтации IP в .htaccess
Для тех же, кто обременен обязательствами в виде всякого рода работ на биржах вечных ссылок и кому ни под каким предлогом нельзя закрывать сайт в роботс, поскольку боты статейников его тоже сканируют на предмет пресловутого Disallow для Яши, есть другой – более изящный выход. Это фильтрация обращений ботов яндекса по IP. Делается это, дорогой друг, уже в другом файлике так же живушем в корне - .htaccess. В этом случае для отваживания любопытного Якова применяется фильтрация по IP-адресам. Прописываем в .htaccess
и враг с IP ххх.ххх.ххх.ххх вместо уютненького сайтика увидит 403 Forbidden, или проще говоря, поцелует дверь. Данный метод применяют для защиты от назойливых ботов или просто для того чтобы всякие не лазили где попало. Если же поменять местами аргументы строчек allow и deny то получим картину обратную – зайти на сайт можно будет только с IP ххх.ххх.ххх.ххх
Подробнее с синтаксисом и правилами написания .htaccess можно ознакомиться на специализированных ресурсах, я же продолжу.
Вышеприведенный метод запрета входа с определенных айпишников был бы, конечно, актуален, но существует нефиговая проблема – треснуть банхаммером Яшу так, что голова в трусы провалится, можно только зная эти самые IP. Безусловно в паблике можно найти какие-то списки IP-адресов ботов Яндекса, но поэкспериментировав с ними я понял, что все, что можно раскопать – или уже не актуально[toolfaq]сраные оптимизаторы постарались – некоторые страницы засели в ТОП-30 аж с 2011 года[/toolfaq] , или очень быстро теряет свою актуальность. К тому же адресов с которых работают боты яши – ведро. На момент начала этого года я насчитал 102 шт.
Вобщем есть еще один путь.
Запрет обращения к сайту с фильтрацией по User Agent на примере ПС Yandex
Вкратце суть такова: Каждый хмырь, который забредает на ваш замечательный, бриллиантовый сайт обязан назваться нашему бдительному серверу, который всех записывает в Специальную Книжечку под названием логи (logs). Кроме IP адреса, с которого идет обращение, в записи присутствует еще некий User Agent – идентификатор приложения, посредством которого произведено обращение к серверу. Вот именно этим мы коварно и воспользуемся, тем более, что добренький Яндекс даже не пытается их скрыть, напротив – гордо вываливает на всеобщее обозрение:
http://help.yandex.ru/webmaster/robot-workings/check-yandex-robots.xml#robot-in-logsНам остается только повыкусыать имена ботов яндекса, а именно:
И написать в .htaccess что для урода, который назовется одним из этих имен, клуб закрыт:
И пойдет он, солнцем палимый… 
Кто-то может возразить, что это не панацея и у Яши могут быть секретные боты, скрывающие свою истинную личность под другими вымышленными именами, но я вам скажу, что запрет индексации через robots.txt – это еще более хлипкая калитка, однако в большинстве случаев срабатывает и она.
Звиздец рекомендует поделиться ссылкой с камрадами и откомментить эту заметку:
Печатай!
