Comment écrire robots.txt et robots.txt pour faire quoi ?
Autoriser l'accès à tous les robots
Utilisateur-agent : *
Disallow :
Alternativement, vous pouvez créer un fichier vide "/robots.txt"
Interdire l'accès de tous les moteurs de recherche à toute partie du site Web
Utilisateur-agent : *
Désactiver : /
Interdire l'accès de tous les moteurs de recherche à plusieurs parties du site (répertoires 01, 02, 03 dans l'exemple suivant)
Utilisateur-agent : *
Désaisir : /01 /
Désaisir : /02 /
Désactiver : / 03 /
Interdire l'accès à un moteur de recherche (BadBot dans l'exemple suivant)
Agent utilisateur : Badbot
Désactiver : /
Autoriser l'accès uniquement à un moteur de recherche (Crawler dans l'exemple suivant)
Utilisateur : Crawler
Disallow :
Utilisateur-agent : *
Désactiver : /
Utilisation du robots.txt
Tout d'abord, utilisez des robots pour bloquer les pages dupliquées du site Web
Beaucoup de sites Web fournissent une variété de versions de navigation, bien que très pratique pour l'utilisateur, mais a causé des difficultés pour l'araignée, parce qu 'il ne peut pas distinguer que c'est le maître, c'est la deuxième fois, une fois qu' il pense que vous répétez malveillant, frère, vous êtes misérable
Utilisateur-agent : *
Disallow : / sitemap / "Interdire les araignées de crawler des pages Web de texte"
Deuxièmement, sécuriser les sites Web avec des robots
Beaucoup de gens se demandent comment les robots ont-ils à voir avec la sécurité du site Web ? En fait, la relation est encore très grande, de nombreux pirates informatiques de bas niveau sont par la recherche de l'arrière-plan par défaut pour atteindre l'objectif d'envahir le site Web
Utilisateur-agent : *
Disallow : / admin / "Interdire les araignées de crawler tous les fichiers dans le répertoire admin"
Troisièmement, prévenir le vol en chaîne
En général, il y a quelques personnes qui volent la chaîne, mais une fois que le moteur de recherche "voler la chaîne" le gars que vous 100M de bande passante ne peut pas supporter, si vous ne faites pas un site Web d'image, et ne veulent pas être le moteur de recherche "voler la chaîne" votre site Web d'image
Utilisateur-agent : *
Désactiver : .jpg $
Quatrièmement, soumettez un site map
Maintenant, faire l'optimisation sait faire une carte du site, mais peu de personnes soumettent, la grande majorité des gens est simplement ajouter un lien sur la page Web, ses robots réels sont en charge de cette fonction
Plan du site : https:// www.example.com
Cinquièmement, il est interdit d'attraper un nom de domaine secondaire.
Certains sites Web offrent des services spéciaux aux membres VIP, mais ne veulent pas que ce service soit récupéré par les moteurs de recherche.
Utilisateur-agent : *
Désactiver : /
Les cinq robots ci-dessus sont suffisants pour améliorer votre capacité à contrôler les araignées des moteurs de recherche, comme le dit Baidu : nous et les moteurs de recherche devrions être amis, augmenter la communication, afin d'éliminer certains diaphragmes.
Parler de nofollow.
Le premier à proposer nofollow est un hashtag de pointe, qui vise à minimiser l'impact des liens spam sur les moteurs de recherche. Le but de cette balise est de dire aux moteurs de recherche que ce lien n'a pas été édité par l'auteur lui-même, donc ce lien n'est pas un vote de confiance. Les moteurs de recherche qui voient cette étiquette peuvent réduire ou supprimer complètement le poids de vote du lien. La raison initiale était que, avec la popularité des blogs en ligne, les commentaires indésirables et les liens indésirables ont progressivement inondé, attirant l'attention de Google et prenant l'initiative de proposer des plans de révolte. La mesure de Google consiste à bloquer efficacement ces commentaires et liens indésirables avec un nouveau type de balise. Depuis lors, une fois que Google détecte un lien hypertexte contenant cet attribut ("rel = nofollow"), ce lien ne sera pas utilisé comme base pour évaluer un site dans le classement des résultats de recherche ; et le balisage ne sera pas un vote négatif pour le blog ou la page Web où le commentaire est spammer, il est uniquement utilisé pour empêcher le domaine public, tel que les commentaires de blog, les formulaires de commentaires ou les listes de recommandation, de bénéficier de la confusion. Les tags Nofollow sont importants pour les moteurs de recherche.
Mais après tout cela, qu ' est-ce que le tag nofollow ? Comment utiliser un tag nofollow ? Lorsque Google voit l'attribut rel = "nofollow " sur les liens hypertexte, ces liens n'obtiendront aucun crédit lorsque nous classons les sites Web dans nos résultats de recherche. Une fois que Google détecte un lien hypertexte contenant cet attribut (« rel = nofollow »), ce type de lien ne sera pas utilisé comme base pour évaluer un site dans le classement des résultats de recherche.
La balise nofollow a un autre rôle, vous pouvez utiliser cette balise si vous vendez de la publicité sur le site Web. Parce que l'intention initiale d'acheter et de vendre des publicités Web devrait être le trafic, pas la valeur de relations publiques ou essayer d'influencer le classement des moteurs de recherche. L'ajout de cette balise n'affecte pas du tout le trafic, mais il est possible de réduire l'impact sur le classement des moteurs de recherche.
Maintenant, parlons du rôle de la balise nofollow sur les liens, quelqu 'un se demandera si l'ajout de cette balise a vraiment un impact sur le poids de vote des liens et la valeur de PR ? Ceci est différent des liens douteux dans les commentaires de blog et les publications de forum, qui sont ajoutés par les utilisateurs et les lecteurs eux-mêmes, pas par le propriétaire du site ou l'auteur. Dans de nombreux cas, l'auteur ne va pas non plus voir à quel site ces liens vont. On ne sait donc pas la qualité de ces sites. Je n'ai jamais dit que les liens de commentaires qui sortent de mon site Web sont importants, puis je charge tout le monde pour ajouter des liens ou demander aux lecteurs de les lier de retour. Bien que les liens dans les commentaires de blog soient des liens externes, ils ne sont pas utiles pour le classement des moteurs de recherche et les valeurs de relations publiques.
Pourquoi parler de ces deux séparément, écoutez un ami dire qu 'après la pratique, robots.txt et nofollow ne fonctionnent pas. Plus précisément, je n'ai pas essayé, les amis intéressés peuvent essayer. Plus de contenu merveilleux dansPékin SEO