Différence entre Disallow : /test et Disallow : /test /
Récemment, il a été découvert que certains amis ne comprenaient pas la différence entre eux. Aujourd 'huiSEOJe vais vous présenter en détail.
Cette valeur est utilisée pour décrire une URL que vous ne souhaitez pas être visitée par le robot. Cette URL peut être un chemin complet ou partiel. Toute URL commençant par Disallow ne sera pas visitée par le robot ;
Notez la différence entre "Disallow : / test" et "Disallow : / test /", bien qu 'ils ne soient qu' un "/" oblique inverse, mais ils ont une signification complètement différente. "Disallow : /test" signifie que les URL qui peuvent être bloquées sont : /test, /testabc.html, /test/abc ; "Disallow : /test/" permet au robot d'accéder à /test, /testabc.html et interdit l'accès à la forme /test/abc.
Si la valeur de l'enregistrement Disallow est vide, c'est - à - dire au format "Disallow :", alors tout le contenu du site peut être exploré par n'importe quel robot de moteur de recherche ; dans le fichier robots.txt, il doit y avoir au moins un enregistrement Disallow s'il y a une déclaration User-agent.