--- title: "Directivas inutiles de Robots.txt - Carlos Sánchez" description: "listado de directivas de robots.txt que no son leídas por Google y se suelen emplear" author: "Carlos Sánchez" url: https://carlossanchezdonate.com/curiosidades/directivas-peculiares-de-robots/ image: https://carlossanchezdonate.com/wp-content/uploads/tb-robotstxt-utilidad.jpg --- # Directivas de Robots.txt no interpretadas por google Todas las directivas del Robots.txt que no lee Google. Cuidado con su utilización. ![Directivas de Robots.txt no interpretadas por google](https://carlossanchezdonate.com/wp-content/uploads/cover-robotstxt-utilidad.jpg) **Autor:** : [Carlos Sánchez](https://carlossanchezdonate.com/sobre-mi/) **Fecha de publicación:** : 2022-04-08 **Última revisión:** : 2023-06-21 **Índice** mostrar 1 Host 2 Crawl-delay 3 Visit-time 4 Request-rate 5 Clean-param 6 Indexpage 7 Otras directivas Esta curiosidad viene con motivo del artículo de** [cómo hacer un buen robots.txt](https://carlossanchezdonate.com/articulo/hacer-robots-txt/).** He decidido hacer un pequeño listado de directivas que no son leídas por Google y se suelen emplear. Para satisfacer las ganas de saber de directivas de robots.txt por parte de los más curiosos. **Alerta:** Cuando utilizamos directivas que son ignoradas por Googlebot, este las considera como un espacio en blanco, como un comentario o como si no hubiese nada. Esto es un riesgo alto, ya que cuando no hay nada entre los user-agents especificados, estos son afectados por las directivas que tengan debajo. Por lo que si ponemos a Googlebot simplemente directivas que ignore y tenemos más reglas debajo para otros user-agents, Googlebot pertenecerá a este listado. Por no hablar de lo obvio, que es que estas directivas no funcionarán ya que son ignoradas. ![Problema con directivas ignoradas robots.txt](https://carlossanchezdonate.com/wp-content/uploads/cuidado-robotstxt.jpg) Representación de lo que podría ser un error fatal en posicionamiento Además, esto también afectaría si no se especifica Googlebot, pero se especifica "todos los user-agents": `User-agent: * Crawl-delay: 60 User-agent: Spambot Disallow: /` Para que sepáis identificar las directivas ignoradas más comunes, os he hecho este listado: ## Host Directiva que utiliza Yandex, sirve para indicar la versión importante de la web (por ejemplo con www o sin). Y en caso de conflicto solo funcionará la que haya más arriba. Actualmente no aparece en su documentación. ## Crawl-delay Está creada para evitar que los rastreadores sobrepasen la capacidad de carga del servidor con demasiadas peticiones. Entonces sirve para establecer un tiempo de espera entre petición y petición. Ejemplo: User-agent: * Crawl-delay: 60 El bot debería esperar 60 segundos entre petición y petición. ## Visit-time Directiva que sirve para establecer el tiempo permitido a los bots designados que puedan rastrear tu página. Ejemplo: User-agent: * Visit-time: 0345-0600 Visit-time: 03:45-06:00 Se le indica a los User-Agents que pueden rastrear la web de 03:45 a 06.00 cada día Como veréis he puesto dos formatos, y se supone que el horario se hace en UTC, [Seznam](https://web.archive.org/web/20160525003111/http://napoveda.seznam.cz/en/robotstxt-standard/) lo utilizaba, pero eliminó esas menciones en 2016. Páginas como pc-componentes siguen usandolas. ![fallo pccomponentes](https://carlossanchezdonate.com/wp-content/uploads/visit-time-pcomponentes.jpg) Visitado el 08/04/2022 ## Request-rate Es otra versión para indicar la frecuencia con la que debe rastrear un bot. En teoría es combinable con visit tame User-agent: * Request-rate: 1/10m Esto indica que se puede rastrear 1 documento cada 10 minutos ## Clean-param Sirve para evitar que se Crawleen los parámetros de una web. Ejemplo: User-agent: Yandex Disallow: Clean-param: v /hacer-robots-txt/ Impediría el rastreo de los parámetros de la página https://carlossanchezdonate.com/articulo/hacer-robots-txt/ entonces https://carlossanchezdonate.com/articulo/hacer-robots-txt/?v=2 no se podría rastrear. Hay que especificar antes de la ruta que parámetro no se puede rastrear en particular y se pueden concatenar los parámetros con el carácter "&" ## Indexpage [Esta directiva](http://www.so.com/help/help_3_2.html) solo funciona en 360 hasta donde tengo conocimiento, solo enfocado en el público chino, y sería para indicarle al motor de búsqueda qué páginas se actualizan con frecuencia. De esta forma 360 rastreará la web de forma más inteligente. ## Otras directivas Hay otras directivas como **Noindex**, ASCP-Crawler, ASCP-disallow-crawl o ASCP-allow-crawl que ni si quiera funcionan ni han funcionado nunca. Si te gusta este artículo, me ayudarías un montón compartiendo mi contenido: Compartir: [![Compartir en LinkedIn](https://carlossanchezdonate.com/wp-content/themes/sanchezdonate/images/rrss/linkedin.svg)](https://www.linkedin.com/cws/share/?url=https://carlossanchezdonate.com/curiosidades/directivas-peculiares-de-robots/) [![Compartir en Twitter](https://carlossanchezdonate.com/wp-content/themes/sanchezdonate/images/rrss/tw.svg)](https://twitter.com/intent/tweet?url=https://carlossanchezdonate.com/curiosidades/directivas-peculiares-de-robots/) [![Compartir en Facebook](https://carlossanchezdonate.com/wp-content/themes/sanchezdonate/images/rrss/facebook.svg)](https://www.facebook.com/sharer/sharer.php?u=https://carlossanchezdonate.com/curiosidades/directivas-peculiares-de-robots/) [![Compartir en WhatsApp](https://carlossanchezdonate.com/wp-content/themes/sanchezdonate/images/rrss/whatsapp.svg)](whatsapp://send?text=https://carlossanchezdonate.com/curiosidades/directivas-peculiares-de-robots/) [![Compartir en Telegram](https://carlossanchezdonate.com/wp-content/themes/sanchezdonate/images/rrss/tlg.svg)](https://telegram.me/share/url?url=https://carlossanchezdonate.com/curiosidades/directivas-peculiares-de-robots/) No se te da mal el SEO Técnico **Te falta mi máster**. Accede a una formación avanzada que te permitirá aplicar e implementar SEO en cualquier tipo de WEB [¡Accede al Máster de SEO Técnico!](/master-seo-tecnico/) Tal vez te interesen otros artículos: [Artículos de SEO](/seo-avanzado/) [Sitemaps](https://carlossanchezdonate.com/articulo/sitemaps/) [Curación de enlaces en el SEO](https://carlossanchezdonate.com/articulo/curacion-de-enlaces-en-el-seo/) [Texto alternativo para imágenes](https://carlossanchezdonate.com/articulo/alt-imagenes/) [Rich Snippets con HTML](https://carlossanchezdonate.com/articulo/rich-snippets-sin-datos-estructurados/) Más curiosidades que te pueden interesar [Analizar la versión de HTTP de una web](https://carlossanchezdonate.com/curiosidades/version-protocolo-http/) [Diferencias entre Java y JavaScript en el SEO](https://carlossanchezdonate.com/curiosidades/java-javascript-seo/) [¿Afectan las IP en el SEO?](https://carlossanchezdonate.com/curiosidades/afectan-las-ip-en-el-seo/)