Robots.txt y meta robots en SEO: cómo utilizarlos

El control de la indexación y del rastreo de una web es imprescindible si quieres llevar una buena estrategia de posicionamiento SEO. Una de las herramientas más utilizadas para controlar qué partes de un sitio tienen que tener en cuenta o no los rastreadores es el archivo robots.txt, que ha ido evolucionando con el tiempo (en Indexando Marketing ya te hablamos sobre el archivo ai.txt, creado específicamente para el rastreo de modelos de inteligencia artificial generativa).

En el mes de marzo de 2025 Google ha subido una actualización sobre robots, lo cual nos da la excusa para recordar la importancia que tienen estas indicaciones para la indexación de las webs, con las etiquetas meta de robots y el encabezado HTTP X-Robots-Tag.

Diferencia entre meta robots y robots.txt

La principal diferencia es que los archivos robots.txt se aplican a toda la web, mientras que la metaetiqueta robots afecta únicamente a la página en la que se encuentra. Ambas forman parte del Protocolo de exclusión de robots (REP).

Con el robots.txt puedes evitar el rastreo de secciones completas de un sitio, como cualquier archivo de login, secciones de prueba o páginas de resultados en la búsqueda interna de la web. Es importante que tengas en cuenta que las indicaciones del archivo robots.txt no va a impedir la indexación de las URLs, ya que la última palabra de todo siempre la tiene Google.

Por otra parte, con las etiquetas meta robots y los encabezados X-Robots-Tag (en HTTP) puedes establecer reglas más detalladas sobre la indexación del contenido. Por ejemplo, si no quieres indexar una página indicarías este código, en meta robots y en HTTP respectivamente:

<meta name=”robots” content=”noindex”>

X-Robots-Tag: noindex

También puedes evitar que se muestren fragmentos de una página en Google u otros resultados de búsqueda:

<meta name=”robots” content=”nosnippet”>

X-Robots-Tag: nosnippet

Estas etiquetas de robots también aplican a documentos, archivos en PDF o imágenes, dando más opciones que los robots.txt. Google tiene una extensa documentación sobre los archivos robots.txt y los metadatos. Así, indica que además del contenido HTML, admite este otro tipo de formatos que no funcionan con etiquetas meta y necesitan de encabezados de respuesta HTTP.

Ejemplos de cómo usar las metaetiquetas robots

Hay que utilizar las metaetiquetas robots solo cuando sea necesario, ya que de lo contrario, si se implementan mal, podríamos poner en problemas a nuestro ecommerce o negocio online dificultando el rastreo en Google y perdiendo tráfico. Te ponemos algunos ejemplos en los que puedes usar este etiquetado:

• Si quieres bloquear el rastreo de una parte de tu web, como todas aquellas páginas que pertenezcan a secciones en las que se requiere el registro de los usuarios, puedes utilizar el robots.txt.
• Para evitar la indexación de una página específica, como una landing que esté orientada únicamente a una campaña de email marketing o redes sociales, puedes utilizar las etiquetas de meta robots indicando “noindex”. También se suele usar mucho en páginas de política de privacidad o aviso legal.
• Impedir que se muestren archivos no HTML. Esto, como te hemos comentado, se hará con el encabezado X-Robots-Tag. Se puede usar en caso de que queramos que un archivo PDF no salga en los resultados de búsqueda, como catálogos o instrucciones de uso.
• Si no quieres que se sigan los enlaces de una página, en cuyo caso se indica la etiqueta meta robots “nofollow”. Es útil en páginas con enlaces de afiliados para evitar que transmitan autoridad.
• Si quieres bloquear snippets en los resultados de búsqueda, con el etiquetado meta robots “nosnippet”.

En definitiva, para bloquear fragmentos o zonas a nivel de página deberás utilizar los metadatos, y para controles más amplios el archivo robots.txt.

Estar al día con el REP

El Protocolo de Exclusión de Robots (REP) va evolucionando con la forma en la que los rastreadores como Google y otros motores de búsqueda detectan e indexan el contenido. Al principio los valores contemplaban los conocidos “noindex” y “nofollow”, a los que se fueron añadiendo otros como “nosnippet”, “noarchive” y “max-snippet”:

• El etiquetado “nosnippet” te lo hemos indicado en los ejemplos: es para impedir que fragmentos de la web salgan en los resultados.
• “noarchive” es para que no se almacenen copias de seguridad de la web en caché.
• “max-snippet”: permite definir un número máximo de caracteres que pueden aparecer en las SERPs.

Es importante conocer los valores que admite Google y los que dejan de utilizarse, como “noodp”, de DMOZ (Open Directory Project), cuando se cerró el directorio.

Conocer y saber aplicar el etiquetado robots y configurar el archivo robots.txt es imprescindible para cuidar la indexación de tu web y, por tanto, la visibilidad de tu negocio online. Asegúrate de que tienes todo bien optimizado según tus objetivos SEO, y no dudes en contactarnos si necesitas ayuda con el SEO técnico y el posicionamiento orgánico en Google.