При работе над запуском нового или доработке существующего проекта, ресурс может содержать массу критических ошибок, способных повлиять на его позиции при ранжировании поисковой выдачи. Ведь поисковики не сообщают, когда их боты начнут индексировать страницы. Благо, разработчики ПС предусмотрели такой вариант развития событий и добавили возможность закрыть сайт от индексации полностью. А эксперты веб-студии EcKit готовы рассказать обо всех актуальных способах «сокрытия» страниц от чуткого взора краулеров Яндекса и Google, поделившись полезной информацией со всеми читателями нашего блога!
Способы закрытия сайта от индексации
Первым и, пожалуй, самым очевидным (но от того не менее эффективным) «обманным маневром» можно считать грамотное оформление файла robots.txt, содержащего набор команд для «пауков» поисковых систем. При этом внести необходимые директивы можно самостоятельно:
- Открываем файл (размещен в корневой папке сайта);
- Обозначаем ПС (Yandex, Googlebot либо «*» — обращается ко всем поисковым роботам);
- Указываем на запрет анализа отдельных компонентов командой “disallow: /”.
При этом вы можете указывать как на весь сайт, так и на его отдельные страницы, а также их содержимое – текст, изображения, видео, музыку и т.д.
Также, закрыть часть страниц (либо сайт полностью) можно с помощью МЕТА-тегов. Добавив в код страницы:
<meta name=”robots” content=”noindex,nofollow”>
вы получите своеобразный “оберег” от ботов, индексирующих контент и оценивающих качество ссылок, что особенно важно для молодых проектов, лишь наращивающих ссылочную массу.
Кроме того, «закрыться» от ПС можно с помощью встроенного функционала или плагинов для вашей CMS. Примечательно, что скрипты и расширения добавят всю необходимую информацию в файлы, а также дополнят МЕТА-теги автоматически, благодаря чему этот вариант – лучшее решение для людей, далеких от поисковой оптимизации или веб-разработки!
