Одним из странно выглядящих крайних случаев является явное отсутствие ограничений на действия агента. В следующем фрагменте пустая директива Disallow означает для любого агента "без исключений". Она эквивалентна отсутствию файла robots. txt вообще:
User-agent: *
Disallow:
Для исключения нескольких URL просто перечислите их под одной директивой
User-agent, например:
User-agent: *
Disallow: /directory
Disallow: /file.html
Здесь исключаются все файлы, начинающиеся на /directory, и все файлы, начинающиеся на /file.html.
Для применения одних и тех же правил для нескольких поисковых механизмов
укажите нужные директивы User-agent перед списком элементов Disallow, например:
User-agent: googlebot
User-agent: msnbot
Disallow: /directory
Disallow: /file.html