Résultats de recherche Web de Baidu robots prompt en ligne

Baidu a accidentellement descendu Taobao à midi aujourd 'hui. Il a été constaté que le système ne peut pas fournir la description du contenu de cette page en raison de restrictions dans le fichier robots.txt de ce site. Du Niang publiera une annonce maintenant.
Avez-vous déjà rencontré des résultats de recherche de Baidu dans le phénomène de l'affichage de résumé de certaines pages Web, ou des problèmes de contenu de certaines parties du site Web ne sont pas inclus ? La plate-forme d'administration du site Web vous invite à rencontrer ces deux situations peut être due à la configuration du fichier robots.txt par le site Web. Afin de permettre aux administrateurs de site Web de comprendre plus commodément si la page du site Web dans le problème ci-dessus est due à la configuration du fichier robots, les résultats de recherche de la page Web de Baidu ont mis en ligne le fichier robots.txt. Lorsque le site Web utilise le fichier robots.txt pour interdire Baidu d'inclure une partie ou la totalité du contenu du site Web, Baidu donnera des conseils robots.txt dans les résultats de recherche, afin que le webmaster comprenne en temps opportun les raisons du site Web dans les résultats de recherche sans résumé affiché, en même temps, vous pouvez cliquer sur "En savoir plus" dans les résultats de recherche, pour voir les informations détaillées sur les robots du site Web, confirmer si c'est en raison du mauvais réglage de robots.txt causé par le blocage.
robots.txt Introduction : robots.txt est le premier fichier que les moteurs de recherche affichent lorsqu 'ils visitent un site Web. Ce fichier est utilisé pour spécifier la portée de l'exploration d'un araignée sur ce site Web. Certains sites Web utilisent le fichier robots.txt pour bloquer une partie ou tout le contenu du site Web en raison du contenu que les moteurs de recherche ne veulent pas inclure. Si le site Web définit le fichier robots.txt pour Baidu Spider, Baidu suivra le protocole robots et ne récupérera pas les résultats du blocage, mais compte tenu de la demande des utilisateurs de rechercher l'adresse du site Web dans le moteur de recherche, les résultats de recherche afficheront le titre et l'adresse du site Web en fonction des exigences de recherche, mais ne montreront pas le résumé du site Web.
Astuce : vous n'avez besoin d'utiliser le fichier robots.txt que si votre site contient du contenu que vous ne souhaitez pas être inclus dans les moteurs de recherche. Si vous souhaitez que les moteurs de recherche incluent tout le contenu de votre site Web, ne créez pas de fichier robots.txt. Dans le même temps, afin de faciliter la détection rapide et la génération de fichiers de robots, la plate-forme de contrôle de Baidu a lancé des outils de robots en ligne