Robots.txt - как сделать/пример
"robots.txt" - что такое "robots.txt", где находится robots.txt. Зачем нужен "robots.txt"?
Подробно о robots.txt
Что такое "robots.txt"
С самого начала дадим определение : "Что такое "robots.txt"" - я бы сказал так:
"robots.txt" - это один из инструментов управления сайтом.
Какая основная функция файла "robots.txt"?
Основная функция инструмента под названием "robots.txt" - это:
Открыть для индексации... сайт, страницу/страницы/папку/папки... и др...
Закрыть для индексации... сайт, страницу/страницы/папку/папки... и др...
Где находится файл "robots.txt"?
Файл "robots.txt" находится в том месте где корневая папка - если вы поленились туда пойти и почитать, то корневая папка это там, где находится файл
Посмотреть "robots.txt" на сервере.
На сервере его можно увидеть через любую. программу, которая умеет подключаться по ftp!
Как сделать файл "robots.txt"
Для того, чтобы сделать файл "robots.txt" вам понадобится:
Открываем простой блокнот
У меня первая строка всегда идет "Host" - прописываем название вашего сайта без http протокола:
Информация из интернета:
Из всех директив, Host распознается исключительно ботами Яндекса.
Нам нужно что-то записать в наш первый файл "robots.txt", как я уже сказа выше... открываем простой блокнот... и вставляем туда первую нашу строчку...
Далее - файл - сохранить как:
Выбираем место сохранения...
1). + Имя файла "robots.txt".2). + Тип файла txt.
3). + Кодировка "utf-8"
4). + Сохранить.
Далее... созданный файл "robots.txt," загружаем на сервер в коневую папку.
1). Либо встроенным файл менеджером(у меня он есть в директАдмине).2). Либо через, уже упомянутую программу для ftp filezilla.
Как проверить ... ваш файл на сервере?
Смотри пример ниже:
Пример robots.txt
После того, как вы создали robots.txt
Загрузили robots.txt на сервер он должен у вас открыться по адресу...
Давайте посмотрим, как и где открывается файл robots.txt у меня на сайте...