Предположим, что на сайте имеется ряд страниц с описанием продуктов, с URL-
адресами типа /products. php?product_id=<число>, и ряд страниц с описанием этих
же продуктов, оптимизированных для печати, с URL-адресами вроде
/products .php?product_id=<4ttcjio>&print=l
Эти оптимизированные для печати страницы невозможно исключить с помощью
стандартного файла robots. txt, т.к. соответствие отслеживается слева. В этом случае файл robots. txt должен содержать директиву для каждой страницы, т.е. он вырождается до того же состояния, что и исключение с помощью дескриптора meta robots.
Конечно, легче уж просто использовать дескрипторы meta robots. Более того, по
некоторым сведениям, в Google имеется ограничение на размер файла robots. txt
в 5000 символов (http://www.seroundtable.com/archives/003932.html), так что
если список станет слишком большим, это выльется в неприятности.
Для разрешения этой проблемы можно применять обобщенные символы, как описано выше в данной главе, но их применение не стандартизовано.
Но в данном случае решение существует. Если изменить порядок параметров, чтобы оптимизированные для печати URL имели вид /products .php?print=1&product_id=<число>, то все, что начинается на /products.php?print=1, можно исключить и в robots.txt.
В общем случае, изменение порядка параметров может сделать файл robots. t x t более привлекательным для динамических сайтов. Но в случае уже существующих сайтов это может привести к изменению URL-адресов, применению перенаправлений и оказаться нежелательным по многим причинам. Эта тема уже была рассмотрена в главе 4.
При работе с целым каталогом статических файлов или в более общих случаях,
когда много полностью определенных имен файлов имеют один и тот же префикс,
обычно удобнее применять исключение с помощью robots. t x t . Это проще и снижает нагрузку как на сервер, так и на поисковый агент. В тех случаях, когда логика исключения с помощью robots.txt "по левому краю имен" не работает, обычно возможно исключение с помощью дескриптора meta robots. Эти методы могут дополнять друг друга, так что не стесняйтесь сочетать их в любых удобных для вас пропорциях.