Согласно спецификации на robots. txt, если существует директива Disallow: для
пользовательского агента *, а также директива Disallow: для конкретного агента,
то для него будет действовать только правило для этого конкретного агента, и только
эти файлы будут исключены. Поэтому чтобы исключать элементы, указанные для
User-agent: *, необходимо повторить все правила, указанные для *, и, к примеру,
для агента Googlebot.
Таким образом, следующие правила исключат из рассмотрения Googlebot только
файл Z, а не X, Y и Z, как можно было бы подумать:
User-agent: *
Disallow: X
Disallow: Y
User-agent: googlebot
Disallow: Z
Если нужно исключить для Googlebot файлы X, Y и Z, то нужны такие правила:
User-agent: *
Disallow: X
Disallow: Y
User-agent: googlebot
Disallow: X
Disallow: Y
Disallow: Z
И последний пример:
User-agent: googlebot
Disallow:
User-agent: *
Disallow: /
Эти правила позволяют посматривать ваш сайт только Google, т.к. более конкретное правило для Googlebot перекрывает правило для *.
Мы рекомендуем Web-мастерам помещать правила исключения по умолчанию (*)
в конец файла. Если верить стандарту, это не играет никакой роли. Однако имеется некоторая неопределенность насчет того, выберет ли поисковый агент первое соответствующее правило или наиболее конкретное соответствующее правило. В первом случае, если правило * помещено в начале, может быть применено оно. Помещение правил * в конец файла устраняет эту неопределенность.