Изучая форумы и тематические сообщества вебмастеров можно наткнуться на «грустные» посты специалистов по поводу плохой индексации. А ведь само попадание в поисковую выдачу (хоть и на «дальние» места) является обязательным условием популяризации ресурса, доверенного специалисту. Самое обидное, что столкнуться с этой проблемой могут и высокобюджетные проекты, в разработку и наполнение которых были вложены немыслимые средства.
В этот момент, у СЕО-специалистов возникает логичный вопрос: а почему не индексируются страницы сайта? Эксперты веб-студии EcKit изучили основные ошибки начинающих и опытных вебмастеров и готовы поделиться информацией о решении распространенных проблем со всеми читателями нашего блога!
Почему сайт не индексируется поисковыми системами?
Для начала рассмотрим нормы индексации веб-ресурсов в популярных поисковиках. Яндекс сканирует и добавляет новые проекты 2-4 раза в месяц. Тем не менее трастовые, часто обновляемые порталы индексируются ежедневно, за добавление новых url отвечает уникальная разработка команды Yandex – быстробот.
Алгоритмы Google работают немного иначе: сканирование зависит от актуальности публикуемых материалов и уровня посещаемости. Так, интернет-СМИ или живые форумы проверяются в течение 24 часов, сканирование личных блогов – раз в 2-4 дня, в то время как «третьесортные» веб-порталы и молодые проекты могут ждать своей очереди в течение 1-1,5 месяцев. При этом стоит отметить, что добавляться в поиск нужно постепенно, т.к. «перебор» может снизить скорость индексации в несколько раз, в особенности если речь идет о страницах с малой ценностью для посетителя.
В отсутствие проблем, проект «попадет» в поиск без сторонней помощи. Иное дело – неточности при настройке, допускаемые вебмастерами на этапе оптимизации веб-ресурса. Благо за 10 лет, методом проб и ошибок, SEO-специалистам удалось установить ряд проблем, влияющих на индексирование, а также определить ряд мероприятий, направленных на их устранение.
Сайт не обнаружен поисковыми системами
Для начала следует проверить, а действительно ли ресурс отсутствует в выдаче Яндекса или Google с помощью оператора «site:» при написании прямой ссылки на ресурс. Для этого открываем поисковик и вводим запрос типа:
- site:example.com
Для проверки отдельных ссылок можно воспользоваться «гугловским» оператором «url:» или командой «info:» Yandex’а. Тестовые запросы выглядят следующим образом:
- url:https://example.com;
- Info:https://example.com.
Проанализировать промежуток между открытием доступа и индексацией можно с помощью встроенных фильтров поисковиков, открыв вкладку «Инструменты» («Параметры» в Яндексе) и включить фильтрацию по времени.
Кроме того, можно «подтолкнуть» робота, добавив страницу в поисковые системы «вручную», используя встроенные возможности Вебмастера (Webmaster). Кроме того, привязка к системам аналитики позволит диагностировать имеющиеся проблемы и получить рекомендации по улучшению позиций ресурса в поисковике по региону продвижения.
При этом стоит отметить, что в большинстве случаев, большой разброс между показателями разных поисковых систем говорит о возможном попадании под фильтры и наложении штрафных санкций. А если проверка по операторам не показала желаемых результатов, необходимо перейти к поиску и устранению “популярных” ошибок.
Страницы сайта закрыты от индексации
Нередко, причиной отсутствия информации является “закрытость” от поискового робота, “путешествующего” по сети в поисках веб-проектов для занесения в базу данных. Проверить, закрыт ли ресурс от виртуальной программы, можно двумя способами:
- Расширение NoFollow Simple для Google Chrome;
- Открыв код и введя нужную ссылку.
Для открытия доступа достаточно найти и отредактировать файл robots.txt, убрав значок «*» из поля User-agent и закрыв технические разделы, не подлежащие индексации, добавив их URL в Disallow.
Проблемы в работе хостинга
Нередко, причиной “замедления” проверки могут быть проблемы со стороны хостинга. Нестабильная работа провайдера может повлиять на добавление в базы данных поисковика за счет частого «падения» и недоступности ресурса в момент, когда робот «путешествует» по страницам, сохраняя их в БД.
Протестировать стабильность работы выбранного провайдера можно с помощью встроенных инструментов поисковиков или сторонних ресурсов. В случае выявления проблем, эксперты рекомендуют сменить поставщика услуг, отдавая предпочтение хоть и дорогому, но стабильному хостингу.
Медленная скорость загрузки страниц
Для проверки скорости открытия url можно использовать различные сервисы:
- Google PageSpeed Insights;
- Web Page Test;
- GT Metrix;
- Site Speed
- PR-CY.
Для поисковиков важно, чтобы сайты открывались быстро не только на стационарных ПК или ноутбуках, но и на телефонах, планшетах и других устройствах с выходом в интернет.
Что делать, если сайт перестал индексироваться в Яндекс и Google?
Для начала проверяем, не попал ли проект под фильтры из-за нарушения правил поисковиков. Информацию об этом можно найти в соответствующих разделах панели вебмастера. В отсутствие уведомлений, анализируем:
- Частоту обновления контента;
- Качество публикуемых материалов;
- Наличие дубликатов (копий);
- Правильность заполнения xml;
- txt и Metarobots.
Исправление всех выявленных недочетов позволит “вернуться” в поисковую выдачу, а пересмотр подхода к подаче контента – на первые места в поиске!
