Rapport: Robots.txt
Nous vérifions si le fichier /robots.txt est présent et s'il est valide sur le site Web SMM Panels
Le fichier robots.txt est un protocole standard (RFC 9309) qui indique aux moteurs de recherche quelles pages indexer et lesquelles ignorer. Il aide à contrôler la visibilité du site web et empêche l'indexation des pages non pertinentes. Le fichier doit être dans le répertoire racine et accessible via HTTP/HTTPS. Bien qu'il ne s'agisse pas d'une mesure de sécurité, il guide les robots d'exploration web bien comportés sur la façon d'interagir avec votre site.
Recommandations
- Créez un fichier robots.txt et ajoutez-le à la racine de votre site web
- Ajoutez le sitemap.xml au fichier robots.txt
- Spécifiez les directives de l'agent utilisateur pour contrôler l'accès du robot d'exploration
- Utilisez les directives Allow et Disallow pour gérer l'accès aux pages
- Incluez la directive Crawl-delay pour la limitation du débit
- Testez votre robots.txt à l'aide de la console de recherche Google
Erreurs connues
- Le fichier robots.txt est présent mais vide
- Le fichier robots.txt est présent mais invalide (voir les détails)
- Le fichier robots.txt n'est pas présent
Exemple de robots.txt
Ceci est un exemple de fichier robots.txt utilisé pour contrôler la visibilité du site web du panneau SMM
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /auth/
Disallow: /auth/login
Disallow: /auth/register
Disallow: /auth/forgot-password
Disallow: /auth/reset-password