В связи с переходом на новый движок... возможны сбои в работе! Простите!
Работы производятся прямо сейчас 19-03-2024! 🞨
Меню :


Blog (1392)
php (329)
js (244)
html (147)
css (131)
html tags (62)
js tag (56)
jquery (42)
text (37)
js method (36)
php array (33)
js date (33)
form html (30)
online (29)
Показать еще :
fonts (26)
ruweb.net (25)
foto (22)
php file (20)
atom (20)
forum (19)
hosting (18)
svg (18)
input (18)
php date (17)
board (16)
php time (16)
html book (16)
color (15)
info (15)
img (14)
js time (14)
js url (14)
js events (14)
htaccess (13)
select (13)
notepad (13)
osclass (13)
keyboard (12)
знак (12)
dw block (12)
php img (12)
php path (12)
table (12)
download (12)
icon (11)
form (11)
jsphp (11)
alphabet (10)
keyframes (10)
js delete (10)
yandex (10)
mouse (10)
chart (9)
hover (9)
dosite (8)
browser (8)
php post (7)
comment (7)
php url (7)
iframe (6)
php get (6)
mysql (6)
click (6)
list (6)
canvas (6)
adminka (6)
vs code (6)
js id (5)
mb (5)
heading (5)
value (5)
reg.ru (5)
ftp (5)
year (5)
js math (5)
tag a (5)
bbcode (4)
php var (4)
base64 (4)
xml (4)
scandir (4)
games (4)
flags (4)
symbols (4)
week (4)
day (4)
ssl (4)
нок (4)
submit (4)
task (4)
vk (4)
month (4)
pages (4)
console (4)
js form (4)
domen (3)
line (3)
https (3)
js post (3)
jquery post (3)
money (3)
numbers (3)
js img (3)
padding (3)
куб (3)
captcha (3)
ucoz (3)
js hash (3)
tag hr (2)
details (2)
typeof (2)
seo (2)
prompt (2)
sitemap (2)
рся (2)
youtube (2)
height (2)
arrows (2)
js vars (2)
counter (2)
google (2)
qr kod (2)
video (2)
speed (1)
smile (1)
нод (1)
rutube (1)
scroll (1)
windows (1)
archive (1)
jino (1)
cursor (1)

Как закрыть страницу от индексации в robots.txt

"закрыть страницу от индексации в robots.txt" - ка можно закрывать от индексации страницу в robots.txt

Подробно о закрытии страницы в robots.txt

  1. Запрещаем индексацию страницы в robots.txt
  2. Как проверить - запрещена ли страница к индексации в robots.txt
  3. Как запретить страницы к индексации в robots.txt
  4. Как запретить к индексации в robots.txt страницы с get запросом(с вопросом).

  1. Ищем/разбираем инструменты для закрытия страницы от индексации в robots.txt

    Как вы наверное знаете... в "robots.txt" можно запретить индексацию страниц с помощью директивы :

    Disallow

    Как запретить индексацию одной страницы в robots.txt?

    Для того, чтобы запретить индексацию одной страницы, вам потребуется.

    Давайте разберем конкретный пример - запрета индексации определенной/одной страницы на сайте!:

    Какую страницу будем запрещать к индексации?

    Нам нужна конкретная - одна страница, чтобы можно было запретить индексацию этой страницы в robots.txt. Это будет живая, реальная страница у меня на сайте:

    https://dwweb.ru/search_yandex.html

    Я предполагаю... что Вы знаете где находится robots.txt

    Открываем его(robots.txt) в любом редакторе кода, даже обычный блокнот подойдет.

    И записываем наш адрес страницы без домена вот таким образом:

    Disallow: /search_yandex.html

    Данный пример вы можете проверить(что он живой...) здесь


  2. Как проверить - запрещена ли страница к индексации в robots.txt

    Далее... переходим к самому интересному... Вы запретили индексировать определенную страницу...

    Но как проверить, что данная страница запрещена к индексации или нет?

    Просто так.. вы этого не узнаете... для этого потребуется какой-то сайт онлайн, который умел бы определить - запрещена ли данная страница к индексации?

    Рассмотрим в качестве такого сервиса - Яндекс вебмастер

    Заходим в Яндекс вебмастер, если у вас несколько сайтов, то в выпадающем окне выбираем сайт.

    Идем до ссылки "инструменты" - нажимаем.

    В выпавшем окне видим "Анализ robots.txt"

    Как проверить - запрещена ли страница к индексации в robots.txt

    В окне "Анализ robots.txt" - опускаемся до самого низа до формы "Разрешены ли URL?".

    1). Вставляем в поле тот адрес, который хотим определить запрещена ли индексация данной страницы:
    2). Нажимаем "проверить" индексацию.
    Нажмите, чтобы открыть в новом окне.
    Как проверить - запрещена ли страница к индексации в robots.txt

    И далее мы видим... что наша ссылка имеет красный цвет..., что собственно и означает, что моя приведенная ссылка на страницу не индексируется, как и сама страница!

    Нажмите, чтобы открыть в новом окне.
    Как проверить - запрещена ли страница к индексации в robots.txt

  3. Как запретить страницы для индексации в robots.txt

    Надеюсь... с запретом одной страницы для индексации в robots.txt - вы разобрались...

    Перейдем к запрету индексации множества страниц.

    Для того, чтобы запретить несколько страниц к индексации нам понадобится:

    Какой-то из свойств адреса "страниц" - который будет повторяться во многих страницах.

    Это может быть папка, которая стоит между доменом и именем страницы:

    Нам опять потребуется живая страница - она будет подопытным:

    https://dwweb.ru/__a-data/__all_for_scripts/__examples/otzyv/example.html

    Я хочу запретить все страницы, которые находятся в папке "__a-data"

    Прописываем "Disallow" - вот таким образом:

    Disallow: /__a-data

    Проверяем "Disallow" в robots.txt- аналогично:

    Идеи до поля... Разрешены ли URL?

    Вставляем наш адрес и нажимаем проверить:

    Скриншот красноречивее слов - как видим... нам демонстрируется та строка в "robots.txt" под которое правило подпадает данная страница - все страницы, которые имеет в своем составе папку

    /__a-data
    Нажмите, чтобы открыть в новом окне.
    Проверяем ‘Disallow‘ в robots.txt- аналогично:

  4. Как запретить к индексации в robots.txt страницы с get запросом(с вопросом).

    Предположим, что у вас стоит задача запретить все страницы с get запросом в ссылке.

    И нам опять нужен живой пример, разберем вот на эттом адресе:

    https://dwweb.ru/?tema=js

    Для этого нам опять потребуется директива "Disallow". После слеша ставим вопросительный знак... и этого достаточно!

    Disallow: /?

    Проверяем запрет индексации страниц с get запросом:

    Нажмите, чтобы открыть в новом окне.
    Как запретить к индексации в robots.txt страницы с get запросом(с вопросом).

    Как видим.... наше правило "запрета индексации" в файле robots.txt сработало!

Ничего не подошло:
Евли вы не нашли ваш вариант в данном описании, то рекомендую документацию Яндекса о robots.txt
Не стесняемся говорить спасибо!
Помочь проекту DwWeb.ru

Поделиться ссылкой! C друзьями или врагами!

Этим вы очень поможете проекту! Заранее огромное спасибо!

Ещё : dwweb.ru есть здесь:
ruweb
Все статьи авторские, при копироавании активная ссылка обязательна DwWeb.ru! © 2015 - 2024 Контакты. Реклама на сайте Лучший хостинг : RUWEB + помощь по RUWEB
Страница загружена за : 0.018543 секунд. Подробнее