Просморт файла Robots.txt

Top  Previous  Next

С помощью этого окна Вы можете быстро открыть файл robots.txt сайта, если он присутствует. В этом сайте пиведены диррективы для поисковых машин, следуя которым, роботы ограничивают свою активность на сайте. Это очень важный сайт, ведь именно в нем владелец сайта может запретить к индексации отдельную страницу или целый раздел сайта.

просмотр файла Robots.txt
просмотр файла Robots.txt