Некоторые примеры архитектуры сайтов сами являются причиной дублирования
контента:
• страницы, оптимизированные для печати;
• страницы со значительно схожим контентом, доступ к которым возможен через
различные URL;
• страницы с очень похожими элементами, например, серия футболок различного
цвета с похожими описаниями в каталоге электронного магазина;
• страницы, являющиеся частью приложения работы по партнерской программе;
• страницы с одинаковыми названиями или значениями дескриптора meta;
• использование идентификаторов сеанса на основе URL;
• проблемы канонизации.
Все эти ситуации будут подробно рассмотрены в данной главе.
Чтобы найти контент, дублированный вследствие архитектуры сайта, можно использовать запрос "site:www.example.com", чтобы проанализировать URL-адреса Web-сайта, которые уже проиндексированы поисковым механизмом. Эта возможность поддерживается всеми основными поисковыми механизмами (Google, Yahoo!, Rambler, Яndех). Обычно можно быстро обнаружить, скажем, индексированные страницы, которые "оптимизированы для печати".
Google часто помещает контент, который он считает дублированным, в свой "дополнительный индекс". Об этом сообщается в конце результатов поиска с фразой "опущенные результаты". Если много страниц вашего сайта попали в этот дополнительный индекс, то, возможно, эти страницы расценены как дублированный контент — по крайней мере, в Google. Просмотрите, если это возможно, несколько страниц URL- адресов и проверьте на наличие указанных выше причин. Особое внимание уделите последним страницам результатов. Создать проблемы дублирования контента очень легко, даже не осознавая этого, поэтому просмотр страниц с точки зрения поискового механизма может оказаться весьма полезным.