Generador de robots.txt

Sobre esta herramienta

Genera el archivo robots.txt que le indica a los motores de búsqueda (Google, Bing, etc.) qué partes de tu sitio pueden rastrear e indexar y cuáles no, a partir de un formulario simple donde defines reglas de Allow/Disallow por user-agent y, opcionalmente, la URL de tu sitemap.xml. Es un archivo pequeño pero importante: un robots.txt mal configurado puede bloquear accidentalmente que Google indexe tu sitio completo, mientras que uno bien hecho ayuda a que los buscadores no pierdan tiempo rastreando páginas de administración, resultados de búsqueda interna o contenido duplicado que no aporta valor en los resultados de búsqueda. El archivo generado sigue el estándar REP (Robots Exclusion Protocol) y se puede copiar directamente o descargar listo para subir a la raíz de tu dominio. Todo el texto se genera en tu navegador, sin depender de ningún servicio externo.