robots.txt - как сделать/пример
Подробно о robots.txt
Что такое "robots.txt"
С самого начала дадим определение : "Что такое "robots.txt"" - я бы сказал так:Какая основная функция файла "robots.txt"?
Основная функция инструмента под названием "robots.txt" - это:Открыть для индексации... сайт, страницу/страницы/папку/папки... и др...
Закрыть для индексации... сайт, страницу/страницы/папку/папки... и др...
Где находится файл "robots.txt"?
Файл "robots.txt" находится в том месте где корневая папка - если вы поленились туда пойти и почитать, то корневая папка это там, где находится файлПосмотреть "robots.txt" на сервере.
На сервере его можно увидеть через любую. программу, которая умеет подключаться по ftp!
Как сделать файл "robots.txt"
Для того, чтобы сделать файл "robots.txt" вам понадобится:Открываем простой блокнот
У меня первая строка всегда идет "Host" - прописываем название вашего сайта без http протокола:
Информация из интернета:
Из всех директив, Host распознается исключительно ботами Яндекса.
Нам нужно что-то записать в наш первый файл "robots.txt", как я уже сказа выше... открываем простой блокнот... и вставляем туда первую нашу строчку...

Далее - файл - сохранить как:

Выбираем место сохранения...
1). + Имя файла "robots.txt".2). + Тип файла txt.
3). + Кодировка "utf-8"
4). + Сохранить.
Далее... созданный файл "robots.txt," загружаем на сервер в коневую папку.
1). Либо встроенным файл менеджером(у меня он есть в директАдмине).
2). Либо через, уже упомянутую программу для ftp filezilla.
Как проверить ... ваш файл на сервере?
Смотри пример ниже:
Пример robots.txt
После того, как вы создали robots.txt
Загрузили robots.txt на сервер он должен у вас открыться по адресу...
Давайте посмотрим, как и где открывается файл robots.txt у меня на сайте...
Пример моего robots.txt
robots txt
файл robots txt
robots_txt
robots txt для сайта
создать robots txt
файл robots txt сайта
где robots txt
robots txt пример
robot txt для яндекса
проверить robots txt онлайн
пример файла robots.txt
примеры файле роботс_тэксти
примером файлом роботсутэксти

подробнее.
подробнее.