Как написать robots.txt и robots.txt?
Разрешить доступ всем роботам
User-agent: *
Недопустимо:
Можно также создать пустой файл "/ robots.txt"
Запретить доступ всех поисковых систем к любой части сайта
User-agent: *
Недопустимо: /
Запретить доступ всех поисковых систем к нескольким частям сайта (в следующем примере каталоги 01, 02, 03)
User-agent: *
Недопустимо: / 01 /
Disallow: / 02 /
Недопустимо: / 03 /
Запретить доступ к поисковой системе (BadBot в следующем примере)
User-agent: BadBot
Недопустимо: /
Разрешить доступ только для одной поисковой системы (Crawler в следующем примере)
Пользовательский агент: Crawler
Недопустимо:
User-agent: *
Недопустимо: /
Использование Robots.txt
Во-первых, блокировать повторные страницы сайта с помощью роботов.
Многие веб-сайты предлагают несколько версий просмотра, хотя это удобно для пользователя, но создает трудности для паука, потому что он не может отличить, что является главным, что является второй, как только заставить его думать, что вы повторяете злонамеренно, брат, вы в беде
User-agent: *
Disallow: / sitemap / Запретить сканирование текстовых страниц пауками
Во-вторых, защитить сайт с помощью роботов.
Многие задаются вопросом, почему роботы имеют отношение к безопасности веб-сайтов?На самом деле, связь еще очень велика, многие хакеры низкого уровня используют поиск по умолчанию в фоновом режиме, чтобы достичь цели вторжения на сайт.
User-agent: *
Disallow: / admin / Запрещает пауку сканировать все файлы в каталоге admin
В-третьих, предотвращение кражи.
Обычно воров цепочка также несколько человек, но когда поисковая система «воров цепочка» парень вы 100M широкополосная связь также не может выдержать, если вы не фотография сайта, и не хотите быть поисковой системой «воров цепочка» ваш сайт изображения
User-agent: *
Отказать:. jpg $
В-четвертых, представьте карту сайта.
Теперь оптимизация все знают, что сделать карту сайта, но мало кто будет представлять, подавляющее большинство людей просто добавляет ссылку на веб-страницу, его роботы поддерживают эту функцию.
Карта сайта: https: / / www.example.com
В-пятых, запрет на поиск доменов второго уровня.
Некоторые сайты предлагают специальные услуги для VIP-членов, но не хотят, чтобы их поисковые системы использовали.
User-agent: *
Недопустимо: /
Выше пяти роботов достаточно для того, чтобы вы могли многое улучшить контроль над пауками поисковых систем, как говорит Baidu: мы и поисковые системы должны быть друзьями, увеличить немного общения, чтобы устранить некоторые барьеры.
Ниже говорится о Nofollow.
Первым, кто предложил nofollow, был ведущий новый тег, цель которого состоит в том, чтобы свести к минимуму воздействие спам-ссылок на поисковые системы.Смысл этого тега заключается в том, чтобы сообщить поисковым системам, что эта ссылка не была отредактирована самим автором, поэтому эта ссылка не является бюллетенем доверия.Поисковые системы, увидев этот тег, могут уменьшить или полностью отменить вес голосования для ссылки.Первоначально это было связано с распространением спам-комментариев и спам-ссылок, вызвавших популярность веб-блогов, что привлекло внимание Google и первое введение в действие программы противодействия. Google использует новый тип тега, который эффективно блокирует подобные спам-комментарии и спам-ссылки.С тех пор, как только Google обнаруживает гиперссылку, содержащую этот атрибут ("rel = nofollow"), такая ссылка не будет использоваться в качестве основы для оценки сайта в рейтинге результатов поиска; кроме того, этот тег не будет отрицательным голосом для блога или страницы, на которых размещен комментарий спама, он используется только для того, чтобы предотвратить использование общедоступных областей, таких как комментарии блога, формы обратной связи или списки рекомендаций, в результате путаницы.Тег Nofollow важен для поисковых систем.
Но если говорить о Nofollow, то что такое тег Nofollow?Как использовать теги Nofollow?Когда Google видит атрибут rel = "nofollow " на гиперссылках, эти ссылки не получат никакого кредита, когда мы ранжируем веб-сайты в наших результатах поиска.Если Google обнаруживает, что гиперссылка содержит этот атрибут («rel = nofollow»), эта ссылка не будет использоваться в качестве основы для оценки сайта в результатах поиска.
Тег nofollow имеет еще одну функцию, которую вы можете использовать, если вы продаете рекламу на своем сайте.Поскольку первоначальная цель покупки и продажи веб-рекламы должна быть трафиком, а не значение PR или попытка повлиять на рейтинг поисковых систем.Добавление этого тега не повлияет на трафик, но потенциально снижает влияние на рейтинг поисковых систем.
Теперь, когда мы говорим о том, как тег nofollow влияет на ссылки, кто-то задается вопросом, действительно ли добавление этого тега влияет на вес голосования ссылок и значение PR?Это отличается от сомнительных ссылок в комментариях в блогах и сообщениях на форумах, которые добавляются самими пользователями и читателями, а не владельцами сайта или авторами.Во многих случаях авторы также не смотрят, на какие сайты ссылки направляются.Поэтому качество этих сайтов неизвестно.Я никогда не говорил, что ссылки на комментарии, выходящие с моего сайта, важны, а затем платить за добавление ссылок или просить читателей ссылаться обратно.Хотя ссылки в комментариях блога являются внешними ссылками, они не полезны для ранжирования в поисковых системах и значения PR.
Почему бы говорить об этих двух отдельно, послушать одного друга, который сказал, что после практики доказано, что ни robots.txt, ни nofollow не работают, конкретно я не пробовал, заинтересованные друзья могут попробовать.Еще больше интересных материалов.Пекин SEO