Карта сайта в формате xml представляет собой важный инструмент продвижения любого интернет-ресурса, поскольку именно она указывает поисковым машинам путь к страницам, в первую очередь подлежащим индексации.
Наличие доступной для просмотра посетителями карты сайта в формате html является весьма полезным и способствующим продвижению веб-ресурса фактом. Однако принципиально важным инструментом, указывающим роботам поисковых систем файлы, в первую очередь подлежащие индексации, является карта сайта в формате xml (sitemap xml). Этот атрибут составляется с учетом специально разработанного синтаксиса, доступного только поисковикам и невидимого для посетителей. В sitemap xml с указанием степени значимости перечислены страницы, которые следует проиндексировать, а также частота выполнения обновлений контента и дата последнего из них.
Безусловно, карта сайта в формате html также позволяет поисковым роботам основных поисковых систем (Google и Яндекса) индексировать страницы веб-ресурса, однако в данном случае поисковики не направленно переходят от файла к файлу, индексируя весь контент подряд. Сегодня, в связи с тотальным использованием систем динамического обновления контента CMS, в том числе и CMS Joomla, ситуация принципиально изменилась. Поскольку в современных CMS контент находится в базе данных, а не в файлах, робот не может напрямую проиндексировать его. Сложность заключается в том, что количество подлежащих просмотру файлов и время пребывания поисковых роботов на сайте ограничено. Поэтому существует вероятность того, что робот покинет сайт, так и не проиндексировав принципиально важные файлы.
Для того чтобы сделать процесс индексации созданных на движках сайтов максимально простым и быстрым, необходима карта сайта sitemap xml, которая направит роботов к нужным файлам. Ограничить доступ поисковых роботов к бесполезным для проведения индексации файлам движка, а также для предотвращения характерного для многих CMS дублирования контента следует использовать файл robots.txt. Грамотное применение этих двух компонентов позволит сделать перемещения ботов по страницам нового веб-ресурса максимально целесообразным и выгодным с точки зрения его продвижения.
Файл robots.txt, а также карту сайта sitemap xml для небольших и редко обновляемых сайтов можно писать вручную. Для масштабных и часто обновляемых проектов sitemap xml предпочтительнее создавать автоматически. Для этого практически у каждой CMS присутствует расширение, позволяющее создавать карту сайта в формате xml. При каждом добавлении новых материалов существует возможность заново пересоздавать sitemap xml. Можно также использовать какой-либо онлайн-генератор, загрузка которого в корень сайта позволяет быстро выполнить индексацию всех существующих страниц.
