¿Qué es el archivo robots.txt
El archivo robots.txt es un archivo de texto que contiene instrucciones que indican qué páginas de tu sitio web deben y no deben ser visitadas por los rastreadores de motores de búsqueda.Estas instrucciones se especifican "permitir " o" prohibir " el comportamiento de un rastreador específico.
¿Cómo funciona el archivo Robots.txt?
El archivo Robots.txt le dice a los robots de los motores de búsqueda qué URLs pueden rastrear y, lo que es más importante, le dice a los robots de los motores de búsqueda qué URLs pueden ignorar.
Los motores de búsqueda tienen dos objetivos principales:
- Rastrear la red para descubrir contenido
- Indexar y ofrecer contenido a los buscadores que buscan información
Cuando los robots de los motores de búsqueda rastrean páginas web, encuentran y rastrean enlaces. Este proceso los lleva del sitio A al sitio B al sitio C, a través de millones de enlaces, páginas y sitios web.
Sin embargo, si el bot encuentra el archivo robots.txt, lo lee antes de realizar otras acciones.
La gramática es muy simple.
Las reglas se asignan mediante la identificación de los agentes de usuario (robots de motores de búsqueda) y las instrucciones (reglas).
También puede asignar instrucciones a cada agente de usuario utilizando el comodín de un asterisco (*), lo que aplica la regla a todos los bots.