Wie kann man Robots.txt und Robots.txt schreiben
Erlaubt allen Robotern den Besuch
Benutzer-Agent *
Disallows:
Sie können eine leere Datei "/robots.txt" erstellen.
Verbieten Sie allen Suchmaschinen den Zugriff auf einen beliebigen Teil der Website
Benutzer-Agent *
Verweigern: /
Verhindern Sie allen Suchmaschinen den Zugriff auf einige Teile der Website (Verzeichnisse 01, 02 und 03 im folgenden Beispiel)
Benutzer-Agent *
Ablehnen: /01 /
Ablehnen: /02/
Ablehnen: /03 /
Sperren des Zugriffs auf eine Suchmaschine (BadBot im folgenden Beispiel)
User-Agent: BadBot
Verweigern: /
Zugriff nur für eine Suchmaschine (Crawler im folgenden Beispiel) zulassen
Benutzer-Agent: Crawler
Disallows:
Benutzer-Agent *
Verweigern: /
Verwendung von robots.txt
Erstens, mit Robotern blockieren Sie Website Duplicate Seiten
Viele Webseiten bieten eine Vielzahl von Browserversionen, obwohl es sehr bequem für den Benutzer, aber die Spinne verursacht Schwierigkeiten, weil es nicht klar ist, dass der Herr ist, dass ist die Zeit, wenn es denkt, dass Sie in bösartiger Wiederholung, Bruder Sie sind miserabel.
Benutzer-Agent *
Disallow: / sitemap / Spinnen verbieten das Crawlen von Textseiten
Sicherung der Webseite mit Robotern
Viele Leute fragen sich, was Roboter mit der Sicherheit der Webseite zu tun haben? In der Tat ist die Beziehung noch sehr groß, viele niedrigere Hacker sind durch die Suche nach Standard-Hintergrund - Landung, um das Ziel der Website zu erreichen.
Benutzer-Agent *
Disallow: / admin / Verhindert Spinnen, alle Dateien im Verzeichnis admin zu crawlen
Drittens: Verhinderung von Kettendiebstahl
All geme ine Die b ket te ist nur ein paar Menschen , aber einmal von der Such mas chine " Die b ket te " der Kerl Sie 100 M Bre it band auch nicht zu er tra gen , wenn Sie nicht Bil der - Web site zu tun , und wollen nicht von der Such mas chine " Die b ket te " Ihre Website Bil der
Benutzer-Agent *
Ver bot en : . jp g $
Vi ert ens : Ein reichen Sie eine Website - Map
Jetzt tun Sie die Op timi erung wissen , um eine Web sit ek arte zu machen , aber nur wen ige werden es ein reichen , die meisten Menschen sind einfach auf der Web se ite hin zu fü gen einen Link , in der Tat Rob oter unterstüt zen diese Funk tion .
Sit em ap : http ://www.zolfox.com/sitemap.html
F ün ft ens , das Ver bot einer zweiten Level - D oma in
Ein ige Web sites bi eten VIP - Mit gli ed ern spezi elle Di enste an , aber sie wollen nicht , dass diese Di enste von Such mas chinen ab ger ufen werden .
Benutzer-Agent *
Ver we ig ern : /
Die obi gen fünf Rob oter sind genug , um Ihre Kontrolle über die Sp inne der Such mas chine zu verbess ern , wie Ba idu sagt : Wir und die Such mas chine sollten Freunde sein , etwas Kommunik ation zu erhö hen , um einige Se par aten zu bese it igen .
Hier geht es um No F ol low .
No fol low wurde als erst es eingef ührt , als ein führ endes neu es Hash tag , das darauf ab zi elt , die Auswirkungen von Sp am - Lin ks auf Such mas chinen zu minimi eren . Der Sinn dieses Tags ist es , die Such mas chinen zu sagen , dass dieser Link nicht vom Autor selbst be arbeitet wurde , also ist dieser Link kein Vert rau ens vot um . Such mas chinen , die dieses Hash tag sehen , können das Stim m ge wicht des Lin ks redu zi eren oder voll ständig ent fer nen . Der urspr üng liche Grund war , dass mit der Popular ität von Web - B log s , Sp am - Kom ment aren und Sp am - Lin ks all mä h lich über f lut et wurden , die Google Auf mer ksam keit erre gt und als Vor re iter W ider stand s plan vorgesch lagen hat . Google hat diese Art von Sp am - Kom ment aren und Sp am - Lin ks mit einem neuen Hash tag effektiv blo cki ert . Sob ald Google einen Hyper link mit dieser Eig enschaft (" rel = no fol low ") ent de ckt , wird dieser Link nicht als Grundlage für die Bewertung einer Website in den Su cher geb nissen verwendet ; und das Label wird nicht als Neg ativ vot um für den Blog oder die Seite , auf der der Sp am - Kom mentar steht , verwendet , um zu ver hind ern , dass Sp am mer öffent liche Bere iche wie Blog - Kom ment are , Feed back - For mula re oder Empfeh lungs l isten durch Ver wir rung prof iti eren . Das No fol low - T ag ist für Such mas chinen wichtig .
Was ist ein No fol low - T ag ? Wie benut ze ich das No fol low - T ag ? Wenn Google das Att ribut rel = " no fol low " auf Hyper links sieht , erhalten diese Lin ks keine Kredit wür digkeit , wenn wir Web sites in unseren Su cher geb nissen ein ord nen . Sob ald Google fest stellt , dass ein Hyper link diese Eig enschaft enthält (" rel = no fol low "), wird dieser Link nicht als Grundlage für die Bewertung einer Website in den Su cher geb nissen verwendet .
Das no fol low - T ag hat eine weitere Funk tion , die Sie verw enden können , wenn Sie Wer bung auf Ihrer Website verka ufen . Denn die urspr üng liche Ab sicht des Ka uf es und Verka ufs von Web - W er bung sollte der Tra ffic sein , nicht PR - W erte oder versuchen , die Such mas chinen - R ank ings zu bee inf lus sen . Das Hin zu fü gen dieses Hash tag s bee inf lus st den Tra ffic überhaupt nicht , aber es ist möglich , die Auswirkungen auf das Such mas chinen - R ank ing zu redu zi eren .
Jetzt über die Rolle des Nofollow-Tags für Links sprechen, fragt man sich, ob das Hinzufügen dieses Tags wirklich Auswirkungen auf das Votinggewicht und den PR-Wert von Links hat? Dies ist anders als Links in Blog-Kommentaren und Forum-Posts, die von Benutzern und Lesern selbst hinzugefügt werden und nicht von Webseiteninhabern oder Autoren. In vielen Fällen schauen die Autoren auch nicht nach, auf welche Webseiten diese Links gehen. Die Qualität dieser Webseiten ist natürlich nicht bekannt. Ich habe nie gesagt, dass es wichtig ist, Links zu Kommentaren von meiner Website zu verlinken und dann Geld für alle zu verlangen, um Links hinzuzufügen oder die Leser zu bitten, Links zurückzugeben. Links in Blog-Kommentaren sind zwar externe Links, aber für Suchmaschinen-Rankings und PR-Werte nützlich.
Warum nur über diese beiden sprechen, hören Sie einen Freund, der nach der Praxis bewiesen hat, dass robots.txt und nofollow beide nicht funktionieren, speziell habe ich es noch nicht ausprobiert, interessierte Freunde können es ausprobieren. Mehr wunderbare Inhalte sind da.Peking SEO