Guía para crear un archivo robots.txt
Contenido
El archivo robots.txt es un archivo de texto plano, ubicado en la raíz del dominio, que indica a los rastreadores qué URL pueden solicitar; sirve para gestionar el tráfico de rastreo y no para ocultar páginas de Google. Esta guía explica cómo se crea, qué reglas admite, cómo las interpreta Google y cómo se comprueba antes de dar el trabajo por terminado.
Contenido elaborado por Centria Group, agencia de SEO, GEO y AEO. Actualizado en noviembre de 2026.
Qué es robots.txt y para qué sirve
Un archivo robots.txt le indica a los rastreadores de los buscadores qué URL de un sitio pueden solicitar. Según la documentación de Google, su uso principal es evitar que el sitio se sobrecargue de solicitudes. No es un mecanismo para mantener una página fuera de Google.
La diferencia importa para cualquier empresa. Si una página bloqueada en robots.txt recibe enlaces con texto descriptivo, Google puede indexar la URL sin visitarla, y entonces aparece en los resultados sin descripción. Cuando el objetivo es que una página no aparezca en los resultados, Google indica que corresponde usar noindex o proteger la página con contraseña.
Cómo crear el archivo paso a paso
Google resume el proceso en cuatro pasos: crear un archivo llamado robots.txt, agregar reglas, subirlo a la raíz del sitio y probarlo.
- Crear el archivo con un editor de texto simple (Bloc de notas, TextEdit u otro similar). Los procesadores de texto no son adecuados porque pueden guardar un formato propio e insertar caracteres inesperados, como comillas curvas. Si el editor lo pregunta, se guarda con codificación UTF-8.
- Agregar las reglas. Cada grupo empieza con una línea User-agent y continúa con reglas Allow o Disallow.
- Subirlo a la raíz del sitio. El archivo no puede vivir en un subdirectorio: para controlar https://www.example.com/, tiene que estar en https://www.example.com/robots.txt.
- Probarlo, como se detalla en el último apartado.
Un ejemplo mínimo tomado de la documentación de Google bloquea una carpeta solo para Googlebot, permite todo para los demás rastreadores e indica el sitemap:
User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xmlQuien usa un servicio de hosting como Wix o Blogger quizá no pueda editar el archivo directamente; en ese caso el proveedor suele ofrecer un ajuste de visibilidad en buscadores. Una tienda en línea hondureña con filtros de catálogo que generan muchas URL casi idénticas es un caso típico donde bloquear esas rutas reduce solicitudes innecesarias, siempre que las categorías y los productos sigan abiertos al rastreo.
Reglas principales y cómo las interpreta Google
Por defecto, todo archivo se considera permitido para el rastreo salvo que una regla indique lo contrario. Cuando dos reglas entran en conflicto, Google aplica la más específica según la longitud de la ruta; si hay conflicto con comodines, aplica la menos restrictiva. Por eso un Disallow sobre una carpeta completa puede convivir con un Allow sobre una subcarpeta concreta.
| Campo | Función | Detalle documentado por Google |
|---|---|---|
| User-agent | Define a qué rastreador se aplica el grupo de reglas | El asterisco agrupa a todos los rastreadores; Googlebot limita el grupo a Google |
| Disallow | Bloquea el rastreo de una ruta | La ruta se escribe a partir de la raíz del sitio |
| Allow | Permite una ruta dentro de una zona bloqueada | Gana cuando es más específica que el Disallow |
| Sitemap | Indica la URL completa de un sitemap | Lo admiten Google, Bing y otros buscadores; el nombre del campo no distingue mayúsculas, pero el valor sí |
Qué verificar antes y después de publicar
Google advierte que no conviene bloquear recursos como imágenes, scripts o estilos cuando su ausencia dificulta que el rastreador entienda la página, porque el análisis de las páginas que dependen de ellos será peor. La revisión inicial incluye abrir la dirección /robots.txt en una ventana privada para confirmar que el archivo es público.
Para validar la sintaxis, Google ofrece el informe de robots.txt en Search Console, que solo funciona con archivos ya accesibles en el sitio, y una biblioteca de código abierto para probar archivos de forma local. Los rastreadores de Google encuentran el archivo de forma automática, sin necesidad de enviarlo.
También conviene vigilar el estado HTTP del archivo: Google trata los errores 4xx (salvo 429) como si no existiera un robots.txt válido y asume que no hay restricciones. Después de cada rediseño o cambio de estructura, es recomendable revisar que las reglas sigan coincidiendo con las rutas reales del sitio.
Una buena práctica es mantener el archivo corto, probarlo antes de publicarlo y revisarlo cada vez que cambie la estructura del sitio. Centria Group, Google Partner y Meta Business Partner, ha trabajado con más de 300 clientes en más de 30 países. Las empresas que buscan apoyo pueden conocer el servicio de posicionamiento SEO en Honduras de Centria Group. Para seguir leyendo, también conviene revisar qué es un sitemap y cómo crearlo y qué es el SEO técnico y qué elementos revisa.
Preguntas frecuentes sobre el archivo robots.txt
¿Dónde debe estar el archivo robots.txt?
En la raíz del host al que aplica, por ejemplo https://www.example.com/robots.txt. Google indica que no puede estar en un subdirectorio y que cada sitio tiene un solo archivo.
¿El archivo robots.txt oculta una página de Google?
No. Google explica que no es un mecanismo para mantener una página fuera de los resultados, porque la URL aún puede indexarse si otras páginas la enlazan. Para evitarlo se recomienda noindex o protección con contraseña.
¿Qué tamaño máximo puede tener el archivo?
Google aplica un límite de 500 KiB y ignora el contenido que lo supere. Si el archivo crece demasiado, se pueden consolidar reglas o agrupar el material excluido en un directorio aparte.
¿Cómo se comprueba que funciona?
Se abre la dirección /robots.txt en una ventana privada para confirmar que es pública y luego se revisa la sintaxis con el informe de robots.txt de Search Console o con la biblioteca de código abierto de Google.
¿Conviene bloquear CSS y JavaScript?
Google recomienda no bloquearlos cuando su ausencia dificulta que entienda la página. Bloquear solo recursos poco importantes es aceptable si las páginas no se ven afectadas de forma significativa.



