Qu 'est-ce que le fichier robots.txt
Le fichier robots.txt est un fichier texte contenant des instructions indiquant les pages de votre site Web que les outils de recherche doivent et ne doivent pas visiter.Ces instructions sont spécifiées en « permettant » ou en « interdisant » le comportement d'un reptile particulier.
Comment le fichier robots.txt fonctionne-il ?
Le fichier Robots.txt indique aux robots des moteurs de recherche quelles URL ils peuvent parcourir et, plus important encore, quelles URL les robots des moteurs de recherche peuvent ignorer.
Les moteurs de recherche ont deux objectifs principaux :
- Crawler le Web pour découvrir du contenu
- Indexer et fournir du contenu aux chercheurs à la recherche d'informations
Lorsque les robots des moteurs de recherche parcourent les pages Web, ils trouvent et suivent les liens. Ce processus les amène du site A au site B, puis au site C, à travers des millions de liens, de pages et de sites Web.
Cependant, si le robot trouve le fichier robots.txt, il le lit avant d'effectuer d'autres actions.
La grammaire est très simple.
Les règles sont attribuées en identifiant les agents utilisateurs (robots de moteur de recherche) et les instructions (règles).
Vous pouvez également attribuer des instructions à chaque agent utilisateur à l'aide d'un astérisque (*), ce qui appliquera les règles à tous les robots.