При обнаружении дублированного контента на своем сайте его можно полностью
убрать, изменив архитектуру этого сайта. Но бывает и так, что Web-сайт должен содержать дублированный контент. Наиболее распространенной причиной этого являются требования бизнеса, диктующие наличие дублированного контента на Web-сайте.
Тогда его просто необходимо скрыть от поискового механизма. Есть два способа
исключения страниц:
• использование дескриптора meta robots;
• исключение с помощью файла robots. txt.
В последующих разделах будут рассмотрены оба этих средства.