Cómo automatizar la generación del archivo robots.txt desde PHP según la estructura de la tienda

Introducción

El archivo robots.txt le indica a los buscadores qué pueden y qué no deben rastrear en tu sitio. En tiendas online, configurarlo mal puede provocar indexación de páginas irrelevantes, filtros duplicados o rutas internas no deseadas.

En esta guía te mostramos cómo automatizar la generación del archivo robots.txt desde PHP, adaptándolo dinámicamente a la estructura de tu tienda online (PrestaShop, WooCommerce, etc.).

Índice

• 1. ¿Qué es robots.txt y para qué sirve?
• 2. Errores comunes en tiendas online
• 3. Qué deberías bloquear (y qué no)
• 4. Ejemplo base de archivo robots.txt
• 5. Generar robots.txt desde PHP automáticamente
• 6. Adaptar según tipo de tienda o CMS
• 7. Cómo actualizarlo periódicamente
• 8. Conclusión

1. ¿Qué es robots.txt?

• 📁 Archivo de texto que indica a los bots qué indexar y qué no
• 📍 Se ubica en la raíz del dominio: https://tudominio.com/robots.txt
• 📌 No impide el acceso, solo la indexación

2. Errores comunes en ecommerce

• ❌ Bloquear rutas necesarias como /img/ o /modules/
• ❌ Permitir filtros duplicados: ?orderby=, ?category=, etc.
• ❌ Indexar páginas de login o carrito

3. Qué rutas bloquear en una tienda

4. Ejemplo de robots.txt

User-agent: *
Disallow: /cart
Disallow: /login
Disallow: /search
Disallow: /*?orderby=
Disallow: /*?tag=
Allow: /img/
Sitemap: https://tudominio.com/sitemap.xml

5. Generar el archivo desde PHP

<?php
$bloqueos = [
  '/cart',
  '/login',
  '/search',
  '/*?orderby=',
  '/*?tag=',
];

$contenido = "User-agent: *\n";
foreach ($bloqueos as $ruta) {
  $contenido .= "Disallow: $ruta\n";
}
$contenido .= "Allow: /img/\n";
$contenido .= "Sitemap: https://tudominio.com/sitemap.xml\n";

file_put_contents($_SERVER['DOCUMENT_ROOT'].'/robots.txt', $contenido);
?>

✔️ Puedes ejecutarlo desde un cron semanal o al guardar cambios de configuración.

6. Adaptarlo a WooCommerce o PrestaShop

• 📦 Leer estructuras dinámicamente desde MySQL
• 🔁 Detectar URLs con filtros, etiquetas o paginaciones
• 📌 Personalizar el `robots.txt` por idioma o multitienda

7. Cómo actualizarlo automáticamente

• 🕓 Usar cron semanal para regenerar el archivo
• 🧠 Escuchar hooks en CMS para regenerarlo al crear nueva categoría
• 📤 Sincronizar con el sitemap si cambia la arquitectura

8. Conclusión

El archivo robots.txt no es algo que configures una vez y olvides. Debe evolucionar con tu tienda y su estructura. Automatizar su creación y adaptación garantiza que tu SEO técnico esté siempre optimizado.

📩 ¿Quieres que lo generemos a medida para tu tienda? Escríbenos y te lo dejamos funcionando con reglas dinámicas.