Robots.txt - как сделать/пример

"robots.txt" - что такое "robots.txt", где находится robots.txt. Зачем нужен "robots.txt"?

Подробно о robots.txt

1. Что такое "robots.txt"
2. Как сделать файл "robots.txt"
3. Пример robots.txt

Что такое "robots.txt"

С самого начала дадим определение : "Что такое "robots.txt"" - я бы сказал так:

"robots.txt" - это один из инструментов управления сайтом.

Какая основная функция файла "robots.txt"?

Основная функция инструмента под названием "robots.txt" - это:

Открыть для индексации... сайт, страницу/страницы/папку/папки... и др...

Закрыть для индексации... сайт, страницу/страницы/папку/папки... и др...

Где находится файл "robots.txt"?

Файл "robots.txt" находится в том месте где корневая папка - если вы поленились туда пойти и почитать, то корневая папка это там, где находится файл

https://ваш_сайт.ru/index.html

Посмотреть "robots.txt" на сервере.

На сервере его можно увидеть через любую. программу, которая умеет подключаться по ftp!

Нажмите, чтобы открыть в новом окне.




Как сделать файл "robots.txt"

Для того, чтобы сделать файл "robots.txt" вам понадобится:

Открываем простой блокнот

У меня первая строка всегда идет "Host" - прописываем название вашего сайта без http протокола:

Host: dwweb.ru

Информация из интернета:

Host – это директива файла robots.txt, указывающая роботам поисковых систем главное зеркало сайта.
Из всех директив, Host распознается исключительно ботами Яндекса.


Нам нужно что-то записать в наш первый файл "robots.txt", как я уже сказа выше... открываем простой блокнот... и вставляем туда первую нашу строчку...



Далее - файл - сохранить как:



Выбираем место сохранения...

 1). + Имя файла "robots.txt".
 2). + Тип файла txt.
 3). + Кодировка "utf-8"
 4). + Сохранить.


Нажмите, чтобы открыть в новом окне.



Далее... созданный файл "robots.txt," загружаем на сервер в коневую папку.

 1). Либо встроенным файл менеджером(у меня он есть в директАдмине).
 2). Либо через, уже упомянутую программу для ftp filezilla.


Как проверить ... ваш файл на сервере?

Смотри пример ниже:




Пример robots.txt

После того, как вы создали robots.txt

Загрузили robots.txt на сервер он должен у вас открыться по адресу...

https://ваш_сайт.ru/index.html

Давайте посмотрим, как и где открывается файл robots.txt у меня на сайте...

Пример моего robots.txt

https://dwweb.ru/robots.txt