Hunderttausende von Webseiten suchen Robots auf dem Internet

Heute mittags ist es unvorstellbar. Es wurde festgestellt, dass das System aufgrund der Einschränkungen in der Datei robots.txt für diese Website keine Beschreibung des Inhalts dieser Seite bereitstellen kann. Unten gibt es eine Bekanntmachung.
Haben Sie schon einmal auf die Suchergebnisse von Baidu gestoßen, dass einzelne Webseiten keine Zusammenfassung angezeigt werden, oder dass es ein Problem gab, dass Teile der Website nicht enthalten sind? Beide Szenarien können durch die Einrichtung der robots.txt-Datei auf Ihrer Website verursacht werden. Um den Webmaster bequemer zu verstehen, ob die Website-Seite auftreten, wenn das oben beschriebene Problem aufgrund der Einrichtung von Robots-Dateien, Baidu-Webseite - Suchergebnisse online robots.txt-Datei Tipps. Wenn die Website mit der Robots.txt-Datei verbietet Baidu, einen Teil oder alle Inhalte der Website aufzunehmen, wird Baidu in den Suchergebnissen Robots.txt Tipp geben, so dass Webmaster rechtzeitig die Gründe für die Website in den Suchergebnissen keine Zusammenfassung zu verstehen, während Sie in den Suchergebnissen klicken "Details", um die detaillierten Roboter-Informationen der Website zu überprüfen, bestätigen, ob es aufgrund der Fehleinstellung von Robots.txt verursacht wird Sperren.
robots.txt Einführung: robots.txt ist die erste Datei, die eine Suchmaschine beim Besuch einer Website anzeigt, und wird verwendet, um den Crawlingbereich der Spinne auf der Website anzugeben. Einige Websites verwenden die robots.txt-Datei, um Teile oder alle Inhalte der Website zu blockieren, da sie Inhalte enthalten, die nicht von Suchmaschinen aufgenommen werden möchten. Wenn die Website Baidu spider robots.txt-Datei eingestellt, Baidu wird Robots-Protokoll folgen, nicht zu blockieren Ergebnisse, aber unter Berücksichtigung der Benutzer in der Suchmaschine haben die Suche nach der Website-Adresse, die Suchergebnisse werden nach der Suche nach der Website Titel und URL, aber nicht die Zusammenfassung der Website angezeigt.
Tipp: Sie sollten die robots.txt-Datei nur verwenden, wenn Ihre Website Inhalte enthält, die Sie nicht von Suchmaschinen aufnehmen möchten. Wenn Sie möchten, dass die Suchmaschine alle Inhalte auf Ihrer Website aufnimmt, erstellen Sie keine robots.txt-Datei. Zur gleichen Zeit, um den Webmaster zu erleichtern, schnell zu erkennen und Roboter-Dateien zu generieren, hat Baidu Webmaster-Plattform ein Roboter-Tool auf den Markt gebracht.