Какой из описанных выше методов мы рекомендуем применять в большинстве случаев?
Первый метод — исключение. Взгляните внимательно на следующие две ссылки
на Web-сайте, созданном одним из авторов данной книги:
http://www.lawyerseek.com/Practice/In-the-News-C20/Protopic-P38/
http://www.lawyerseek.com/Practice/Pharmaceutical-Injury-Cl/Protopic-P38...
Здесь два URL, но один из них — первый — исключен в файле robots.txt. Файл
robots.txt по адресу http://www. lawyerseek.соm/ содержит следующие строки для
его исключения:
User-agent: *
...
...
Disallow: /Practice/In-The-News-C20/Protopic-P38/