Различия между Disallow: / test и Disallow: / test /
Недавно обнаружилось, что некоторые друзья до сих пор не понимают разницу между ними.СегодняseoПозвольте мне подробно представить вам.
Значение этого элемента используется для описания URL-адреса, к которому робот не желает обращаться, который может быть полным или частичным путем, любой URL-адрес, начинающийся с Disallow, не будет доступен роботом;
Обратите внимание на разницу между «Disallow: / test» и «Disallow: / test /», хотя и только с обратной клосовой фразой /, но смысл совершенно разный.«Disallow: / test» означает, что URL-адреса могут быть заблокированы: / test, / testc.html и / test / abc; «Disallow: / test /» позволяет Роботу получить доступ к / test и / testc.html, а форма / test / abc запрещена.
Если значение записи Disallow пустое, то есть формат «Disallow: », то все содержимое сайта может быть сканировано любым роботом поисковой системы; в файле robots.txt должно быть по меньшей мере одна запись Disallow, если есть декларация User-agent.