Informe: Robots.txt
Estamos comprobando si el archivo /robots.txt está presente y si es válido en el sitio web del panel de SMM
El archivo robots.txt es un protocolo estándar (RFC 9309) que indica a los motores de búsqueda qué páginas indexar y cuáles ignorar. Ayuda a controlar la visibilidad del sitio web y evita la indexación de páginas irrelevantes. El archivo debe estar en el directorio raíz y ser accesible a través de HTTP/HTTPS. Aunque no es una medida de seguridad, guía a los rastreadores web bien comportados sobre cómo interactuar con tu sitio.
Recomendaciones
- Crea un archivo robots.txt y añádelo a la raíz de tu sitio web
- Añade el sitemap.xml al archivo robots.txt
- Especifica directivas de agente de usuario para controlar el acceso de rastreadores
- Utiliza directivas de Permitir y No permitir para gestionar el acceso a páginas
- Incluye la directiva de retraso de rastreo para limitar la velocidad
- Prueba tu robots.txt utilizando la Consola de búsqueda de Google
Errores conocidos
- El archivo robots.txt está presente pero vacío
- El archivo robots.txt está presente pero no es válido (ver detalles)
- El archivo robots.txt no está presente
Ejemplo de robots.txt
Este es un ejemplo de un archivo robots.txt que se utiliza para controlar la visibilidad del sitio web del panel de SMM
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /auth/
Disallow: /auth/login
Disallow: /auth/register
Disallow: /auth/forgot-password
Disallow: /auth/reset-password