Одной из основных проблем крупных сайтов в сети становится скорость индексирования страниц с новой информацией, которая добавляется на ресурс постоянно. Однако возможность увеличить скорость индексации страниц сайта все же реально.
Именно для этого крупному информационному порталу или корпоративному сайту может понадобиться сайт-индексатор. Использование такого сайта позволяет в несколько раз повысить эффективность индексирования объемного веб-ресурса.
Сайт-индексатор - это сайт, созданный по особому типу, который как бы "вытягивает" необходимый текстовый контент со страниц вашего сайта, проходит процесс индексации внутренних страниц и только после этого обновляется. Когда индексация контента проведена, на индексаторе страницы с ним будут закрыты вместе с другими, до которых поисковые роботы еще не добрались.
Стоит отметить, что создание сайта такого типа обычно не отнимает у вебмастера слишком много времени. Проблема заключается лишь в том, что код такого сайта достаточно сложен для изучения.
Изначально вам необходимо будет разработать главную страницу для индексатора, из которой будут следовать несколько десятков ссылок на внутренние страницы. Каждая страница внутри сайта будет наполняться контентом, который берется из базы вашего объемного веб-ресурса и нуждается в индексации. Для того, чтобы на сайте-индексаторе поисковые роботы пребывали постоянно, вам необходимо весь поток ссылочного веса направить в сторону этой страницы.
После этого на индексаторе задается команда "cron". Тогда по запросу SITE:вашдомен.com, согласно данной команде, из Yahoo, Google и Яндекса каждый день будут вытягиваться необходимые данные. При помощи простого скрипта вы сможете постоянно парсить статистические данные и сравнивать их с тем списком внутренних страниц, которые размещены на индексирующем сайте. Как только страница пройдет индексацию в поисковой системе, скрипт будет устанавливать на ней редирект под номером 301. Именно он будет перенаправлять ботов на страницу вашего основного ресурса и помечать ее как проиндексированную.
В свою очередь сайт-индексатор перестанет обращать внимание на страницу, с которой уже все в порядке - для образования новых внутренних страниц будет подхватываться уже совершенно иной контент, который также нуждается в индексации. Ценность индексатора заключается в то, что он работает в полностью автоматическом режиме. Он будет функционировать до тех пор, пока ваш основной сайт не будет проиндексирован полностью. Если вы владеете очень крупным порталом, для повышения скорости индексации лучше пользоваться одновременно несколькими вспомогательными индексаторами.
