В процессе разработки, улучшения или редизайна, ресурс может утратить часть функционала, что скажется на его позиции в топе поисковой выдачи Яндекса или Google. Поэтому перед началом работ необходимо запретить индексацию сайта в robots.txt. Таким образом, боты поисковиков не смогут зафиксировать изменения, благодаря чему вы сможете провести все необходимые мероприятия, не опасаясь за будущее проекта.
Но как спрятать весь сайт от поисковиков? Можно ли скрыть отдельные папки или файлы? Эксперты веб-студии EcKit изучили особенности, нюансы и тонкости работы с документом robots.txt и готовы поделиться актуальной, полезной информацией со всеми читателями нашего блога!
Запрет на индексацию папки в robots.txt
Закрывать весь сайт нужно далеко не всегда. В особенности, если речь идет об интернет-магазинах с большим количеством постоянных покупателей. К счастью, оптимизатор может скрыть нужные папки от поисковых роботов. Для этого достаточно открыть роботс (размещен в корне) и прописать:
User-agent: * (или Googlebot/Yandex, в зависимости от какого поисковика вы хотите скрыться)
Disallow: /folder/ (где folder – название).
Кроме того, существует возможность разрешить просмотр файлов из «закрытых» директорий: для этого можно совместить правила Allow и Disallow. В результате, он должен содержать пункты:
Allow: /folder/file.php (название документа)
Disallow: /folder/ (имя нужной директории)
Проверить, сработали ли внесенные изменения можно с помощью оператора site: в строке поисковой выдачи, либо используя сторонние онлайн-сервисы.
Закрытие отдельного файла в роботс
Закрыть доступ поисковым ботам к отдельному файлу можно все тем же правилом Disallow:
Disallow: /folder/file.php.
Кроме того, существует возможность скрытия картинок. Для этого используем тот же оператор, но вместо имени документа вводим название изображения, указывая его формат. К примеру:
Disallow: image.jpg/png/gif.
Проверяем, все ли правильно, используя те же инструменты.
Как полностью закрыть сайт от индексации robots.txt?
Для полного отключения прописываем:
Disallow: / (в отсутствие указания конкретной директивы, робот не увидит весь ресурс).
В большинстве случаев, на ресурсах с несколькими поддоменами используются разные документы robots.txt, поэтому «закрывать» их нужно вручную: процесс, описанный выше, повторяется для каждого из них.
