Для того, чтобы страницы вашего веб-ресурса смогли отображаться в результатах поиска по определенным запросам, прежде всего, они должны пройти процедуру индексации поисковыми системами.
Именно по этой причине помимо постоянной поддержки сайта при проведении анализа сайта необходимо обращать особое внимание на факторы, способные оказывать влияние как на скорость индексации, так и на ее качество. Для того, чтобы проверить страницы веб-ресурса, необходимо:
1. Проверить все заголовки НТТР, которые передаются непосредственно вашим сервером:
- страницы, нуждающиеся в индексации, будут возвращать в качестве ответа НТТР код 200;
- страницы, которые по факту на сайте не существуют, будут приходить к вам с ответом под кодом 404;
- страницы, адрес которых был изменен, при введении старого адреса URL будут возвращаться к вам под кодом 301.
Для того, чтобы прочитать ответ НТТР на собственный запрос серверу, для той или иной страницы веб-ресурса, вам необходимо в интерфейсе Я.Вебмастера (в том случае, если ваш ресурс был добавлен в сервис Яндекса и подтвержден им) выбрать инструмент "Проверка ответа сервера". Для проведения данной процедуры можно также воспользоваться независимыми сервисами НТТР.
2. Следующим этапом проверки могут стать те страницы вашего сайта, которые по вашему мнению должны быть проиндексированы в первую очередь. Необходимо также обратить внимание на те страницы ресурса, которые вообще не должны оказываться в индексе. С этой целью необходимо создать специальный файл robots.txt. С его помощью вы можете запретить поисковым роботам обходить служебные или технические разделы вашего ресурса. Кроме того, присутствие некоторых страниц в индексе может негативно сказаться на продвижении и развитии сайта - их также необходимо закрыть от индекса. Это могут быть:
- страницы, на которых выводятся результаты поиска по самому ресурсу;
- страницы, на которых клиенты вашего сайта вводят собственные персональные данные;
- страницы, выступающие в качестве корзин с продукцией.
Все "лишние" страницы в системе поиска оказываться не должны. Кроме того, удаление таких страниц из индексации даст возможность поисковым роботам обходить ваш ресурс в разы быстрее и, соответственно, сам процесс индексации будет ускорен.
3. Важно проверить, что будет происходить в том случае, если кто-то из пользователей сети Интернет допустит ошибку в ссылке на ваш ресурс, оставляя ее на форуме или в социальной сети.
Для этого необходимо открыть любую страницу вашего сайта и попробовать дописать в адресной строке пару-тройку лишних символов. В этом случае страница должна в любом случае делать перенаправление: выдавать ошибку с кодом 404 или же осуществлять перенаправление на любую другую страницу вашего ресурса. Проверка необходима для того, чтобы исключить возможность попадания в поисковую выдачу страниц, которые находиться там не должны.
