Файл robots.txt сообщает поисковым роботам, какие URL сайта можно запрашивать. Он полезен для управления обходом, но не является надежным способом скрыть приватные страницы из поиска.
Для чего robots.txt подходит
- Закрыть технические папки от обхода.
- Уменьшить обход дублей или малополезных разделов.
- Указать поисковикам sitemap через директиву Sitemap.
Для чего robots.txt не подходит
- Он не защищает приватные файлы от людей, которые знают URL.
- Заблокированный URL все равно может появиться в поиске, если на него есть внешние ссылки.
- Его нельзя использовать вместо авторизации, noindex или удаления чувствительных файлов.
Простой пример
User-agent: *
Disallow: /tmp/
Disallow: /admin/
Sitemap: https://example.com/sitemap.xmlПришлите домен и правило, которое хотите добавить. Поможем проверить, блокирует ли оно нужный раздел.
Проверить robots.txtКак проверить DNS без лишнего риска
DNS-настройки лучше менять поэтапно: сначала понять, где расположена активная DNS-зона, затем проверить текущие записи и только после этого вносить изменения. Если домен использует внешние NS-серверы, правки в панели хостинга могут не повлиять на работу сайта или почты.
- проверьте активные NS-серверы домена;
- сравните A, MX, TXT и CNAME-записи с ожидаемыми значениями;
- учитывайте TTL и кэш провайдеров;
- после изменения проверьте результат через несколько независимых сервисов.
Особенно аккуратно нужно работать с MX, SPF, DKIM и DMARC: ошибка в этих записях может не сломать сайт, но повлиять на доставку доменной почты.
Что подготовить перед обращением
Чтобы поддержка GoodNet быстрее разобралась с вопросом по теме «robots.txt: что он делает и что не скрывает от Google», укажите домен, услугу, время появления проблемы, что менялось перед этим и приложите точный текст ошибки или скриншот. Это помогает сразу перейти к диагностике, а не тратить время на уточнение базовых данных.