Отчёт: Robots.txt
Мы проверяем, присутствует ли файл /robots.txt и является ли он допустимым на веб-сайте Панели SMM
Файл robots.txt - это стандартный протокол (RFC 9309), который сообщает поисковым системам, какие страницы индексировать, а какие игнорировать. Он помогает контролировать видимость веб-сайта и предотвращает индексацию нерелевантных страниц. Файл должен находиться в корневом каталоге и быть доступным через HTTP/HTTPS. Хотя это не мера безопасности, он направляет добросовестных веб-краулеров, как взаимодействовать с вашим сайтом.
Рекомендации
- Создайте файл robots.txt и добавьте его в корень вашего веб-сайта
- Добавьте sitemap.xml в файл robots.txt
- Укажите директивы user-agent для управления доступом краулеров
- Используйте директивы Allow и Disallow для управления доступом к страницам
- Включите директиву Crawl-delay для ограничения скорости
- Протестируйте ваш robots.txt с помощью Google Search Console
Известные ошибки
- Файл robots.txt присутствует, но пуст
- Файл robots.txt присутствует, но недопустим (см. подробности)
- Файл robots.txt отсутствует
Пример robots.txt
Это пример файла robots.txt, который используется для управления видимостью веб-сайта Панели SMM
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /auth/
Disallow: /auth/login
Disallow: /auth/register
Disallow: /auth/forgot-password
Disallow: /auth/reset-password