Ничто не мешает разработчику сайта динамически генерировать файл robots. txt
программным способом. Вставьте в файл .htaccess приведенное ниже правило для v отображения robots.php на robots. txt и воспользуйтесь сценарием robots. php для его генерации. В этом случае для генерации файла robots. txt можно использовать программную логику, аналогичную логике, применяемой для исключения дескриптором meta.
Следующее правило в файле .htaccess делегирует запросы к robots .txt сценарию
robots.php:
RewriteEngine On
RewriteRule Arobots.txt$ /robots.php
Файл robots .php должен выглядеть следующим образом:
<?
header('Content-type: text/plain');
?>
# здесь можно добавить статические части robots. txt
Реальный пример динамической генерации файла robots. txt будет приведен в
главе 14.