Как запретить индексацию сайта robots.txt

"запретить индексацию сайта robots.txt"?

Для того, чтобы запретить индексировать весь сайт, вам нужно прописать директиву Disallow.

Подробно о запрете индексировать весь сайт

1. Директива запрещающая индексировать весь сайт.
2. Как проверить - запрещен ли к индексации весь сайт?

Директива запрещающая индексировать весь сайт.

Для того, чтобы запретить индексировать весь сайт вам нужно:

В файле robots.txt прописать директиву Disallow - вот таким образом:

Пример заперта индексации всего сайта через robots.txt

Disallow: /

Посмотреть применение запрета индексирования всего сайта на реальном примере

У меня, конечно, весь сайт доступен, но вы можете найти директиву Disallow в моем файле https://dwweb.ru/robots.txt...

Одна из строк имеет вид:

Disallow: /?
Я писал подробно об этом здесь




Как проверить - запрещен ли к индексации ваш сайт полностью?

Вы написали данную директиву на запрет всего сайта - но как проверить... она заработала или нет?

Для того, чтобы проверить - запрещен ли ваш сайт полностью к индексации - это можно и нужно проверить!

Идем в Яндекс вебмастер.

Ищем ссылку ""Анализ robots.txt""



Опускаемся до формы "Разрешены ли URL?".

Вставляем туда любую ссылку вашего сайта - нажимаем проверить.

И если справа внизу высвечивается ваше правило красным цветом, значит ваше правило "запрета индексации всего сайта работает!"

Нажмите, чтобы открыть в новом окне.