"запретить индексацию сайта robots.txt"?
Для того, чтобы запретить индексировать весь сайт, вам нужно прописать директиву Disallow.
Подробно о запрете индексировать весь сайт
Директива запрещающая индексировать весь сайт.
Для того, чтобы запретить индексировать весь сайт вам нужно:
В файле robots.txt прописать директиву Disallow - вот таким образом:
Пример заперта индексации всего сайта через robots.txt
Посмотреть применение запрета индексирования всего сайта на реальном примере
У меня, конечно, весь сайт доступен, но вы можете найти директиву Disallow в моем файле https://dwweb.ru/robots.txt...
Одна из строк имеет вид:
Как проверить - запрещен ли к индексации ваш сайт полностью?
Вы написали данную директиву на запрет всего сайта - но как проверить... она заработала или нет?
Для того, чтобы проверить - запрещен ли ваш сайт полностью к индексации - это можно и нужно проверить!
Идем в Яндекс вебмастер.
Ищем ссылку ""Анализ robots.txt""
Опускаемся до формы "Разрешены ли URL?".
Вставляем туда любую ссылку вашего сайта - нажимаем проверить.
И если справа внизу высвечивается ваше правило красным цветом, значит ваше правило "запрета индексации всего сайта работает!"
