Большинство CMS в наши дни имеют собственные инструменты для создания карты сайта. Но, что делать если нам нужен инструмент который создавал sitemap.xml для определенного сайта не имея доступа к базе данных. Для этого нужно воспользоваться небольшим парсером который посетит все публичные ссылки на нужном сайте и составит его карту.

Карта сайта весьма нужный файл на вашем сайте. Такие поисковые системы как Google и Яндекс отдают предпочтение сайтам с уже готовым sitemap. Поисковики понимают какие страницы для вас важнее и какие обновляются чаще и нуждаются в особом внимании. Кодировка файла sitemap.xml должна быть utf-8.

Структура файла Sitemap.xml

<?xml version="1.0" encoding="UTF-8"?>
 
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 
   <url>
      <loc>http://python-3.ru/</loc>
      <lastmod>2015-07-25</lastmod>
      <changefreq>daily</changefreq>
      <priority>1.0</priority>
   </url>
 
   <url>
      <loc>http://python-3.ru/category/pyqt/</loc>
      <lastmod>2015-07-25</lastmod>
      <changefreq>monthly</changefreq>
      <priority>0.8</priority>
   </url>
 
</urlset>

Далее...