Как закрыть страницу от индексации в robots.txt

"закрыть страницу от индексации в robots.txt" - ка можно закрывать от индексации страницу в robots.txt

Подробно о закрытии страницы в robots.txt

1. Запрещаем индексацию страницы в robots.txt
2. Как проверить - запрещена ли страница к индексации в robots.txt
3. Как запретить страницы к индексации в robots.txt
4. Как запретить к индексации в robots.txt страницы с get запросом(с вопросом).

Ищем/разбираем инструменты для закрытия страницы от индексации в robots.txt

Как вы наверное знаете... в "robots.txt" можно запретить индексацию страниц с помощью директивы :

Disallow

Как запретить индексацию одной страницы в robots.txt?

Для того, чтобы запретить индексацию одной страницы, вам потребуется.

Давайте разберем конкретный пример - запрета индексации определенной/одной страницы на сайте!:

Какую страницу будем запрещать к индексации?

Нам нужна конкретная - одна страница, чтобы можно было запретить индексацию этой страницы в robots.txt. Это будет живая, реальная страница у меня на сайте:

https://dwweb.ru/search_yandex.html

Я предполагаю... что Вы знаете где находится robots.txt

Открываем его(robots.txt) в любом редакторе кода, даже обычный блокнот подойдет.

И записываем наш адрес страницы без домена вот таким образом:

Disallow: /search_yandex.html

Данный пример вы можете проверить(что он живой...) здесь

Как проверить - запрещена ли страница к индексации в robots.txt

Далее... переходим к самому интересному... Вы запретили индексировать определенную страницу...

Но как проверить, что данная страница запрещена к индексации или нет?

Просто так.. вы этого не узнаете... для этого потребуется какой-то сайт онлайн, который умел бы определить - запрещена ли данная страница к индексации?

Рассмотрим в качестве такого сервиса - Яндекс вебмастер


Заходим в Яндекс вебмастер, если у вас несколько сайтов, то в выпадающем окне выбираем сайт.

Идем до ссылки "инструменты" - нажимаем.

В выпавшем окне видим "Анализ robots.txt"



В окне "Анализ robots.txt" - опускаемся до самого низа до формы "Разрешены ли URL?".

1). Вставляем в поле тот адрес, который хотим определить запрещена ли индексация данной страницы:
2). Нажимаем "проверить" индексацию.


Нажмите, чтобы открыть в новом окне.



И далее мы видим... что наша ссылка имеет красный цвет..., что собственно и означает, что моя приведенная ссылка на страницу не индексируется, как и сама страница!

Нажмите, чтобы открыть в новом окне.



Как запретить страницы для индексации в robots.txt

Надеюсь... с запретом одной страницы для индексации в robots.txt - вы разобрались...

Перейдем к запрету индексации множества страниц.

Для того, чтобы запретить несколько страниц к индексации нам понадобится:

Какой-то из свойств адреса "страниц" - который будет повторяться во многих страницах.

Это может быть папка, которая стоит между доменом и именем страницы:

Нам опять потребуется живая страница - она будет подопытным:

https://dwweb.ru/__a-data/__all_for_scripts/__examples/otzyv/example.html

Я хочу запретить все страницы, которые находятся в папке "__a-data"

Прописываем "Disallow" - вот таким образом:

Disallow: /__a-data

Проверяем "Disallow" в robots.txt- аналогично:

Идеи до поля... Разрешены ли URL?

Вставляем наш адрес и нажимаем проверить:

Скриншот красноречивее слов - как видим... нам демонстрируется та строка в "robots.txt" под которое правило подпадает данная страница - все страницы, которые имеет в своем составе папку

/__a-data
Нажмите, чтобы открыть в новом окне.


Как запретить к индексации в robots.txt страницы с get запросом(с вопросом).

Предположим, что у вас стоит задача запретить все страницы с get запросом в ссылке.

И нам опять нужен живой пример, разберем вот на эттом адресе:

https://dwweb.ru/?tema=js

Для этого нам опять потребуется директива "Disallow". После слеша ставим вопросительный знак... и этого достаточно!

Disallow: /?

Проверяем запрет индексации страниц с get запросом:

Нажмите, чтобы открыть в новом окне.



Как видим.... наше правило "запрета индексации" в файле robots.txt сработало!