Разные инструменты решают разные задачи видимости. Если выбрать не тот, URL может остаться видимым в поиске или наоборот закрыть страницу, которую нужно обходить.
Используйте noindex, если
- Страницу можно обходить, но она не должна появляться в поиске.
- Нужно, чтобы поисковик увидел директиву на странице.
- Страница не приватная, просто не полезна для поиска.
Используйте robots.txt, если
- Нужно управлять обходом разделов или файлов.
- Контент не чувствительный и не требует защиты доступа.
- Вы понимаете, что заблокированные URL могут быть найдены по ссылкам.
Используйте защиту паролем, если
- Контент приватный или только для тестирования.
- Пользователи и роботы не должны открывать страницу без входа.
- Сайт в разработке и еще не должен быть публичным.
Правила видимости легко перепутать
Опишите, что нужно: скрыть из поиска, запретить обход или защитить от людей. Подскажем правильный инструмент.
Выбрать правило видимости