Что такое файл Robots.txt
Файл robots.txt представляет собой текстовый файл, содержащий инструкции, указывающие, какие страницы вашего сайта должны и не должны посещать поисковые системы сканирования.Эти инструкции задаются путем «разрешения» или «запрещения» поведения определенного реплика.
Как работают файлы robots.txt?
Файл Robots.txt говорит ботам поисковых систем, какие URL-адреса они могут сканировать, и, что более важно, говорит, какие URL-адреса они могут игнорировать.
Поисковые системы преследуют две основные цели:
- Сканирование сети для обнаружения содержимого
- Индексировать и предоставлять контент для поисковиков, ищущих информацию
Когда боты поисковых систем сканируют веб-страницы, они находят и отслеживают ссылки.Этот процесс ведет их с сайта А на сайт В и на сайт С, охватывая миллионы ссылок, страниц и веб-сайтов.
Однако, если бот найдет файл robots.txt, он прочитает его, прежде чем выполнить другие действия.
Граматика проста.
Назначение правил путем идентификации пользовательских агентов (ботов поисковой системы) и инструкций (правил).
Вы также можете назначить команду каждому агенту пользователя с помощью звездочки (*), что будет применять правила ко всем ботам.