Was ist eine Robots.txt-Datei?
Die robots.txt-Datei ist eine Textdatei, die Anweisungen enthält, die angeben, welche Seiten auf Ihrer Website von Suchmaschinen-Crawlern besucht werden sollten und welche nicht.Diese Anweisungen werden durch "erlaubt" oder "verboten" das Verhalten eines bestimmten Reptilien angegeben.
Wie funktioniert die Datei Robots.txt?
Die Robots.txt-Datei sagt Suchmaschinen-Robotern, welche URLs sie crawlen können und, was noch wichtiger ist, sagt Suchmaschinen-Robotern, welche URLs sie ignorieren können.
Die Suchmaschinen haben zwei Hauptzwecke:
- Crawlen Sie das Netzwerk, um Inhalte zu finden.
- Indexieren und Bereitstellen von Inhalten für Suchende, die nach Informationen suchen
Wenn Suchmaschinenbots Webseiten crawlen, finden und verfolgen sie Links. Dieser Prozess führt sie von Site A zu Site B und dann zu Site C über Millionen von Links, Seiten und Websites.
Wenn der Roboter jedoch die robots.txt-Datei findet, liest er sie, bevor er weitere Aktionen ausführt.
Die Sprache ist sehr einfach.
Regeln werden durch die Identifizierung von Benutzeragenten (Suchmaschinenbots) und Anweisungen (Regeln) zuweisen.
Sie können auch den einzelnen Benutzeragenten mit dem Sternchen (*) Wildcard Befehle zuweisen, wodurch die Regeln auf alle Bots angewendet werden.