Для того, чтобы сайт уверенно поднимался в списке поисковых систем, необходимо заложить в него правильные параметры на этапе создания. Исключение зеркал, корректные ответы серверов и уникальность адресов страниц рассмотрены. Кроме этого необходимо правильно задать параметры файла robots.txt, карты сайта и HTML кода.
Важным этапом при создании сайта является настройка помощника – файла robots.txt. Ему можно передать директивы о том, какие разделы сайта не нуждаются в индексации. Эта функция очень важна для Интернет-магазинов, в которых один и тот же контент дублируется на нескольких страницах. Не стоит индексировать страницы, возникающие при сортировке, страницы результатов поиска и те страницы, которые возникают после уточнения выводимого числа элементов списков.
Объясняется необходимость этого тем, что каждая такая страница имеет уникальный адрес, но без уникального контента, ведь он дублируется с основной страницы. В результате в индекс могут попасть сотни тысяч страниц совершенно ненужных, сбивающих с толку поисковые системы, замедляющие их работу.
Ну и конечно же файл robots.txt должен запретить индексацию папок системы управления сайтом и служебных папок.
Еще одним инструментом, который помогает поисковой системе корректно собрать информацию о сайт, является файл sitemap.xml. В нем необходимо прописать все страницы вашего сайта и рекомендации для поисковика по их индексации. Обязательными для индексации являются страницы с тегами urlset, url и loc. Необязательно индексировать страницы с тегами lastmod, changefreq и priority.
Для того, чтобы файл sitemap.xml корректно выполнял поставленные перед ним задачи, все файлы необходимо прописать и в robots.txt. Кроме этого все файлы должны заноситься по дате последнего обновления. И, наконец, в файл должны попадать только реально существующие страницы без дублей.
Одним из важнейших пунктов технической оптимизации сайта является правильное написание Html кода. Именно его считывают поисковые роботы и он определяет качество индексации сайта и его продвижение. Многие оптимизаторы не придают значение правильному написанию Html кода, так как поисковики настроены так, что могут считывать и работать с самым непоследовательным и хаотичным Html кодом. Коды популярных типовых CMS считываются замечательно. Но все же хорошо проработанный и уникальный Html код имеет лучшие показатели в результатах поиска и сохраняется это на протяжении длительного времени.
Хороший код должен соответствовать стандартам составления Html и быть максимально компактным. Для получения второго параметра необходимо корректно и грамотно провести верстку по методике DIV, но не стоит применять табличную верстку, кроме как для случаев оформления непосредственно таблиц.
