Diferencia entre Disallow: / test y Disallow: / test /
Recientemente, se ha descubierto que algunos amigos todavía no entienden la diferencia entre ellos. HoySEOVamos a presentarle a todos en detalle
El valor de este elemento se utiliza para describir una URL a la que no se desea que el robot acceda. Esta URL puede ser una ruta completa o parcial. Cualquier URL que comience con Disallow no será visitada por el robot;
Observe la diferencia entre "Disallow: / test" y "Disallow: / test /", aunque solo con un "/" retroclínico, pero con un significado completamente diferente. "Disallow: /test " indica que las URLs que se pueden prohibir incluyen: /test, /testabc.html y /test/abc;" Disallow: /test/ " permite que el robot acceda a /test y /testabc.html y prohíbe el acceso a /test/abc.
Si el valor del registro Disallow está vacío, es decir, en el formato "Disallow:" significa que todo el contenido del sitio web puede ser rastreado por cualquier robot del motor de búsqueda; en el archivo robots.txt, si hay una declaración de agente de usuario, debe haber al menos un registro Disallow.