Под замысловатым термином «индексация» подразумевается сохранение информации о сайте и его страницах в базе данных поисковой системы. Делается это автоматически, с определенной периодичностью: роботы поисковиков «сканируют» общедоступные файлы: тексты, ссылки, изображения, фото, видео и другие элементы, создавая «копию» на внутреннем сервисе.
По сути, именно с этого и начинается продвижение ресурса. Тем не менее такие «обходы» совершаются редко, а без них, у оптимизатора не будет информации о позициях ресурса в выдаче. Поэтому эксперты веб-студии EcKit решили рассказать, как ускорить индексацию сайта в Яндекс и Google. Почему ресурс индексируется плохо, либо не попадает в выдачу? Как ускорить этот процесс? Влияет ли внутренняя оптимизация на ранжирование? Могут ли «замедлить» её дубли? Играет ли роль ссылочный профиль? Можно ли «указать» поисковику на необходимость во внеочередной проверке? Мы постарались ответить на эти вопросы и поделиться полезной информацией со всеми читателями нашего блога!
Причины низкого уровня индексации сайта
Google и Яндекс могут не видеть вас в нескольких случаях:
- Системы не успели “заметить” проект;
- Ресурс закрыт через файл robots.txt;
- Включены «Настройки Приватности» в CMS («движке»);
- Закрытие от сканирования через теги «noindex, nofollow»;
- Ошибки сканирования со стороны ботов Яндекса и Гугла;
- Блокировка проверки в файле .htaccess;
- Сбои или нестабильная работа хостинг-провайдера;
- Ошибки и проблемы с AJAX/JavaScript;
- Обилие дублированного контента;
- Низкая скорость загрузки;
- Штрафные санкции при покупке ранее забаненного домена;
- Отсутствие или ошибки оформления карты — файла sitemap.xml.
При этом стоит отметить, что если все вышеописанные ошибки были исправлены, но проект по-прежнему не попадает в базы данных, рекомендуем обратиться к специалистам службы поддержки ПС.
Основные способы ускорения индексации сайта
Без регулярной проверки, поисковики не воспримут изменения, направленные на улучшение проекта в соответствии с их требованиями. К тому же иногда, в ожидании очередного «обхода» может произойти очередной апдейт, вследствие чего все старания оптимизатора будут приравнены к нулю. Следовательно, чем быстрее происходит индексирование, тем выше вероятность того, что ваш проект «обгонит» конкурентов и займет высшие позиции в топе выдачи. «Ускорить» этот процесс можно несколькими способами:
Внутренняя оптимизация сайта
По сути, это комплекс мероприятий, направленных на устранение ошибок, допущенных при разработке ресурса. Так, повлиять на скорость и периодичность сканирования может:
- Создание файла sitemap.xml. Актуальная карта облегчит работу ботов, т.к. с её помощью краулеры будут знать, что же именно нужно добавить в индекс;
- Использование html-карты сайта. Отдельная страница со всеми значимыми разделами ресурса будет полезна не только роботам, а и посетителям. Кроме того, она является одним из способов перелинковки;
- Правильно настроенная перелинковка. Расставляйте ссылки на другие материалы в теле статей, обзоров, описаний и т.д.;
- Регулярное обновление записей. Как Гугл, так и Yandex любят «живые» ресурсы с постоянно обновляющейся информацией. Поэтому не стоит забывать о публикации «свежих» материалов с периодичностью не реже 1 раза в неделю!
Не лишней будет создание (в случае отсутствия) и правильное оформление файла robots.txt, служащего своеобразным «маяком» и «навигатором» для краулеров.
Устранение дублей страниц для ускоренной индексации
Если для пользователя, ссылка с HTTP или WWW или без них выглядит как один и тот же сайт, то поисковики воспринимают их как разные ресурсы. Поэтому первостепенной задачей оптимизатора, работающего над «новым» проектом, является их устранение. Отсутствие редиректов увеличивает время, необходимое для переобхода, особенно для сайтов с тысячами товаров. Кроме того, дублирование контента может навлечь санкции. Ведь боты могут посчитать, что они создавались намеренно, с целью манипуляции выдачей.
Найти дубликаты можно двумя способами: вручную, используя оператор «site:», либо воспользовавшись онлайн-сервисами или десктопными программами-парсерами. Устранить их можно с помощью:
- Удаления вручную;
- Запрета в «robots.txt»;
- Настройки 301 редиректа в «.htacces»;
- Установки тега «rel=canonical»;
- Прописания тегов noindex, nofollow.
Если все сделано правильно, при введении адреса с www или https, вы будете перенаправлены на страницу без префиксов.
Использование вебмастеров поисковых систем
Начальным этапом оптимизации является добавление проекта в панели Яндекс.Вебмастер и Google Search Console. Таким образом, вы сообщите о запуске проекта, сможете отслеживать динамику развития, а также будете получать уведомления об обнаруженных ошибках. Кроме того, эксперты рекомендуют воспользоваться «аддурилками» (с англ. – Add URL, добавить УРЛ). В кабинете Вебмастера Яндекса – раздел «Индексирование/Переобход страниц». У Google же инструмент отключен (с 2018 года). Однако «напомнить» о необходимости во внеочередной проверке «старой» ссылки можно с помощью команды «ЗАПРОСИТЬ ИНДЕКСИРОВАНИЕ» во вкладке «Проверка URL».
Наличие ссылок с качественных сайтов
Несмотря на отказ от тИЦ и Pagerank, ссылочный профиль по-прежнему влияет на часть параметров. Но если с десяток лет назад преимуществом было количество ссылок, то сегодня большую роль играет их качество. При этом чем больше авторитетных площадок ссылаются на ваш ресурс, тем чаще краулеры будут совершать его обход. Проблема в том, что естественные ссылки «добываются» тяжким трудом, т.к. завоевать доверие «трастовых» площадок – не так просто.
Ускорить этот процесс можно двумя способами:
- Договариваться с вебмастерами «доноров» самостоятельно;
- Воспользоваться услугами бирж «вечных ссылок»: Sape, GoGetLinks, MiraLinks и т.д.
Также, можно добавить ваш ресурс в различные каталоги или агрегаторы: это привлечет дополнительный трафик, отразится на посещаемости, а также ускорит индексацию!
