Результаты поиска на веб-сайте Baidu Robots

Сегодня в полдень не выходили на сто.Было обнаружено, что из-за ограничений в файле robots.txt на сайте система не может предоставить описание содержимого страницы.Ниже выйдет объявление...
Вы когда-нибудь сталкивались с явлением, когда отдельные страницы в результатах поиска Baidu не отображаются в резюме, или возникли проблемы, когда часть контента сайта не включена?Эти две ситуации могут быть вызваны настройкой файла robots.txt на сайте.Чтобы веб-мастерам было более удобно узнать, вызвано ли вышеупомянутая проблема на странице сайта установкой файла роботов, в результате поиска веб-страницы Baidu появился запрос на файл robots.txt.Когда веб-сайт использует файл robots.txt, чтобы запретить Baidu включить часть или все контент сайта, Baidu даст запрос robots.txt в результатах поиска, чтобы веб-мастер своевременно узнал, почему сайт не отображается в результатах поиска, в то же время в результате поиска нажмите «Узнать подробности», чтобы просмотреть подробную информацию о роботах на сайте, подтвердить, что это из-за неправильной настройки robots.txt, вызванной блокировкой.
robots.txt - это первый файл, который просматривается поисковой системой при посещении веб-сайта. Этот файл используется для определения масштабов сканирования паука на этом веб-сайте.Некоторые веб-сайты используют файл robots.txt для блокировки части или всего содержимого из-за того, что содержимое не требуется, чтобы поисковые системы включали в него.Если веб-сайт настроит файл robots.txt для Baidu Spider, Baidu будет следовать протоколу роботов, не сканировать результаты блокировки, но учитывая потребности пользователя в поисковой системе для поиска адреса сайта, результаты поиска будут отображать название и URL сайта в соответствии с требованиями поиска, но не отображают резюме сайта.
Используйте файл robots.txt только в том случае, если ваш сайт содержит контент, который вы не хотите, чтобы поисковые системы включали в него.Если вы хотите, чтобы поисковые системы включали все содержимое на сайте, не создавайте файл robots.txt.В то же время для удобства веб-мастеров быстро обнаружить и генерировать файлы роботов, платформа веб-мастеров Baidu была запущена роботы инструмент