Типичная ситуация, когда нарушение правил оправдано — если сайт уже существует
и содержит изъян, которые невозможно устранить без полной реконструкции
сайта. Обычно полная переделка существующего сайта является сложным и трудоемким мероприятием. В лучшем случае ее невозможно выполнить в указанный срок, а в худшем случае это абсолютно невозможно по финансовым соображениям или из-за требований внутренних политик.
Возможно, сайт полностью сделан на Flash (см. главу 6) или в нем применяются
обработчики сеансов на основе URL, которые могут загнать поисковый агент в колесо циклических ссылок. Если полная переделка приложения невозможна (а обычно так и бывает), можно применить маскирование. Маскирование означает выдачу различи ного конкретна в зависимости от того, является пользовательский агент человеком или поисковым агентом. Поисковым агентам можно представить вместо Flash-версии HTML-версию сайта. Либо можно с помощью маскирования удалить из URL идентификатор сеанса и другие потенциально запутывающие параметры и, таким образом, устранить ловушку агента.
Хорошо известен пример маскирования, применяемый на сайте New York Times.
По сути, этот сайт предлагает пользователям создать учетную запись (и платить за
нее) для получения дополнительного контента — см. рис. 8.1.
Простой запрос Google с ключевым словом site: показывает, что Google проиндексировал на сайте nytimes . com почти двадцать два миллиона страниц (рис. 8.2). Интересно, что в страницах результатов поиска нет ссылки на "просмотр кэшированных". Ее нет потому, что на сайте применяется дескриптор noarchive, который запрещает поисковым механизмам кэшировать контент (а хитрым пользователям обходить необходимость регистрации). Присмотревшись более внимательно, можно понять, что поисковые механизмы могут индексировать многие страницы nytimes. com и выдают релевантные результаты поиска, но для вас контент этих страниц недоступен.
Этот пример хорошо демонстрирует тот факт, что техники, которые поисковыми
механизмами расцениваются как "нечестные", могут применяться для вполне пристойных целей. Он также демонстрирует то, что Google согласен нарушать свои правила для некоторых "достойных" Web-сайтов.
Объявленные компанией Google принципы относительно маскирования однозначны:
маскирование считается "нечестным" и должно приводить к штрафованию сайта.
Однако примеры наподобие вышеприведенного запутывают дело. Yahoo! и MSN не
так категоричны и допускают маскирование, если оно не вводит в заблуждение пользователя.
Маскирование, наряду со связанными с ним техническими и этическими
проблемами, рассматривается в главе 11.