Cómo escribir robots.txt y lo que robots.txt puede hacer
Permitir el acceso de todos los robots
Agente de Usuario: *
Deshabilitar:
O puede crear un archivo vacío "/robots.txt"
Prohibir que todos los motores de búsqueda accedan a cualquier parte del sitio web
Agente de Usuario: *
Desaprovechamiento: /
Prohibir que todos los motores de búsqueda accedan a varias partes del sitio web (directorios 01, 02, 03 en el siguiente ejemplo)
Agente de Usuario: *
Desaprovechar: /01 /
Desaprovechar: /02 /
Desalentar: / 03 /
Bloquear el acceso a un motor de búsqueda (BadBot en el siguiente ejemplo)
Agente de usuario: Badbot
Desaprovechamiento: /
Permitir el acceso solo a un motor de búsqueda (Crawler en el siguiente ejemplo)
Agente de usuario: crawler
Deshabilitar:
Agente de Usuario: *
Desaprovechamiento: /
El uso de robots.txt
Primero, bloquear páginas duplicadas con robots.
Muchos sitios web ofrecen varias versiones de navegación, aunque es muy conveniente para el usuario, pero para la araña causó dificultades, porque no puede distinguir que es el maestro, que es el segundo, una vez que lo deje pensar que está repitiendo maliciosamente, hermano, usted es miserable.
Agente de Usuario: *
Desallow: / sitemap / "No permitir que las arañas rastreen páginas de texto"
En segundo lugar, proteger el sitio con robots
Muchas personas se preguntan, ¿por qué los robots todavía tienen algo que ver con la seguridad del sitio web? De hecho, la relación es muy grande, muchos piratas informáticos de bajo nivel es a través de la búsqueda de inicio de sesión predeterminado en segundo plano para lograr el objetivo de invadir el sitio web.
Agente de Usuario: *
Deshabilitar: / admin / "Prohibir a las arañas rastrear todos los archivos en el directorio de admin"
Tercero, prevenir el robo en cadena.
En general, el ladrón de cadena es solo unas pocas personas, pero una vez que el motor de búsqueda "robó la cadena" que el tipo que 100M de banda ancha también no puede soportar, si lo que hace no es un sitio web de imágenes, y no quiere ser el motor de búsqueda "robó la cadena" su imagen del sitio web
Agente de Usuario: *
Desaprovechar: .jpg$
Cuarto, envíe un mapa del sitio web
Ahora optimizar todos saben hacer un mapa del sitio web, pero pocos se presentarán, la gran mayoría de la gente es simplemente agregar un enlace a la página web, sus robots reales son compatibles con esta función
Mapa del sitio: https:// www.example.com
Quinto, prohibir la captura de un nombre de dominio secundario.
Algunos sitios web ofrecen algunos servicios especiales para miembros VIP, pero no quieren que los motores de búsqueda recuperen este servicio.
Agente de Usuario: *
Desaprovechamiento: /
Los cinco robots anteriores son suficientes para mejorar su capacidad de control sobre las arañas de los motores de búsqueda, como dice Baidu: nosotros y los motores de búsqueda debemos ser amigos, agregar algo de comunicación para eliminar algunos diafragmas.
A continuación, nofollow.
El primer en proponer nofollow fue una etiqueta que lideraba la nueva creación con el objetivo de minimizar el impacto de los enlaces no deseados en los motores de búsqueda. El sentido de esta etiqueta es decirle a los motores de búsqueda que este enlace no fue editado por el propio autor, por lo que este enlace no es un voto de confianza. Los motores de búsqueda que ven esta etiqueta pueden reducir o eliminar completamente el peso de voto del enlace. La razón inicial es que, con la popularidad de los blogs en línea, los comentarios no deseados y los enlaces no deseados se inundaron gradualmente, lo que atrajo la atención de Google y fue el primero en presentar un plan de resistencia. La medida de Google es bloquear efectivamente estos comentarios y enlaces no deseados a través de un nuevo tipo de etiqueta. Desde entonces, una vez que Google descubre que un hipervínculo contiene este atributo ("rel = nofollow"), dicho enlace no se utiliza como base para evaluar un sitio en los resultados de búsqueda; y la etiqueta no se convierte en un voto negativo para el blog o página web donde se encuentra el comentario de spam, sino que solo se utiliza para evitar que el dominio público, como los comentarios de blogs de los spammers, formularios de retroalimentación o listas de recomendaciones, se beneficie de la confusión. Las etiquetas Nofollow son importantes para los motores de búsqueda.
Pero después de hablar tanto de nofollow, ¿qué es la etiqueta nofollow?¿Cómo puedo usar la etiqueta nofollow? Cuando Google ve el atributo rel = "nofollow " en los hipervínculos, esos enlaces no obtendrán ningún crédito cuando clasifiquemos sitios web en nuestros resultados de búsqueda. Una vez que Google descubre que un hipervínculo contiene este atributo ("rel = nofollow"), ese tipo de enlace no se utilizará como base para evaluar un sitio en los resultados de búsqueda.
La etiqueta nofollow tiene otro propósito, si vende anuncios en su sitio web, puede usar esta etiqueta. Debido a que la intención original de comprar y vender anuncios web debe ser el tráfico, no el valor de relaciones públicas o tratar de influir en el ranking de los motores de búsqueda. Agregar esta etiqueta no afectará el tráfico en absoluto, pero tiene el potencial de reducir el impacto en los rankings de los motores de búsqueda.
Ahora hablamos del papel de la etiqueta nofollow en los enlaces, alguien se preguntará si agregar esta etiqueta realmente tiene un impacto en el peso de votación y el valor de relaciones públicas de los enlaces? Esto es diferente de los enlaces en los comentarios del blog y las publicaciones del foro, que son agregados por los propios usuarios y lectores en lugar de por el propietario del sitio o el autor. En muchos casos, el autor tampoco va a ver a qué sitio van esos enlaces. Por lo tanto, la calidad de estos sitios web, por supuesto, no se sabe. Nunca he dicho que los enlaces de comentarios que salen de mi sitio web son importantes y luego cobro dinero para que todos agreguen enlaces o pidan a los lectores que vuelvan a enlazar. Aunque los enlaces en los comentarios del blog son enlaces externos, no sirven para el ranking del motor de búsqueda y el valor de relaciones públicas.
¿Por qué hablar de estos dos por separado? Escucha a un amigo que ha demostrado que robots.txt y nofollow no funcionan. Específicamente, no lo he probado. Los amigos interesados pueden intentarlo. Más contenido maravilloso en todoPekín seo