Bericht: Robots.txt
Wir prüfen, ob die Datei /robots.txt auf der SMM Panels-Website vorhanden und gültig ist
Die robots.txt-Datei ist ein Standardprotokoll (RFC 9309), das Suchmaschinen mitteilt, welche Seiten zu indizieren sind und welche zu ignorieren sind. Es hilft, die Sichtbarkeit der Website zu kontrollieren und verhindert die Indizierung irrelevanter Seiten. Die Datei muss im Stammverzeichnis vorhanden und über HTTP/HTTPS zugänglich sein. Obwohl es kein Sicherheitsmaßnahme ist, leitet es gut verhaltende Web-Crawler an, wie sie mit Ihrer Site interagieren sollen.
Empfehlungen
- Erstellen Sie eine robots.txt-Datei und fügen Sie sie dem Stammverzeichnis Ihrer Website hinzu
- Fügen Sie die sitemap.xml zur robots.txt-Datei hinzu
- Geben Sie Benutzer-Agent-Direktiven an, um den Zugriff von Crawlern zu steuern
- Verwenden Sie Allow- und Disallow-Direktiven, um den Seitenzugriff zu verwalten
- Fügen Sie die Crawl-delay-Direktive für die Geschwindigkeitsbegrenzung hinzu
- Testen Sie Ihre robots.txt mit Google Search Console
Häufige Probleme
- Die robots.txt-Datei ist vorhanden, aber leer
- Die robots.txt-Datei ist vorhanden, aber ungültig (siehe Details)
- Die robots.txt-Datei ist nicht vorhanden
Beispiel-Robots.txt
Beschreibung der Beispiel-Robots.txt
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /auth/
Disallow: /auth/login
Disallow: /auth/register
Disallow: /auth/forgot-password
Disallow: /auth/reset-password