Unterschied zwischen Disallow: / test und Disallow: / test /
In letzter Zeit haben sich einige Freunde immer noch nicht den Unterschied zwischen ihnen erkannt. Heute.SEOKommen wir euch alle ausführlich vorzustellen.
Der Wert dieses Elements beschreibt eine URL, auf die der Roboter nicht zugreifen möchte, die ein vollständiger oder teilweiser Pfad sein kann, und jede URL, die mit Disallow beginnt, wird vom Roboter nicht zugreifen.
Beachten Sie den Unterschied zwischen "Disallow: / test" und "Disallow: / test /", obwohl es sich nur um einen Rückschräg / handelt, aber es bedeutet eine ganz andere Bedeutung. "Disallow: /test" bedeutet, dass die URLs: /test, /testabc.html und /test/abc verboten werden können; "Disallow: /test/" ermöglicht dem Roboter den Zugriff auf /test und /testabc.html und verbietet den Zugriff auf /test/abc.
Wenn der Wert des Disallow-Eintrags leer ist, d.h. im Format "Disallow:" ist, kann der gesamte Inhalt der Website von jedem Suchmaschinenrobot gecrawlt werden; in der robots.txt-Datei muss mindestens ein Disallow-Eintrag vorhanden sein, wenn ein User-agent erklärt wird.