Файл robots.txt сообщает поисковым роботам, какие URL сайта можно запрашивать. Он полезен для управления обходом, но не является надежным способом скрыть приватные страницы из поиска.
Для чего robots.txt подходит
- Закрыть технические папки от обхода.
- Уменьшить обход дублей или малополезных разделов.
- Указать поисковикам sitemap через директиву Sitemap.
Для чего robots.txt не подходит
- Он не защищает приватные файлы от людей, которые знают URL.
- Заблокированный URL все равно может появиться в поиске, если на него есть внешние ссылки.
- Его нельзя использовать вместо авторизации, noindex или удаления чувствительных файлов.
Простой пример
User-agent: *
Disallow: /tmp/
Disallow: /admin/
Sitemap: https://example.com/sitemap.xmlНеправильный robots.txt может закрыть больше, чем нужно
Пришлите домен и правило, которое хотите добавить. Поможем проверить, блокирует ли оно нужный раздел.
Проверить robots.txt