sitemap.xml: Alles über Funktion und Erstellung einer XML-Sitemap

Wer sich intensiver um die Platzierung seines Webprojekts in den Ergebnisseiten der Suchmaschinen kümmert, weiß genau, wie viele unterschiedliche Faktoren den Kampf um die vorderen Plätze beeinflussen. So umfasst die Liste von Faktoren mit Einfluss auf das Ranking bei Google beispielsweise über 200 Kriterien, deren Relevanz teilweise offiziell durch das Unternehmen bestätigt wurde, teilweise aber auch lediglich von Experten vermutet wird. Nicht von ungefähr zählt die Disziplin der Suchmaschinenoptimierung seit Jahren zum Standardrepertoire eines jeden Webmasters, der will, dass seine Website sichtbar und erreichbar ist. Während dabei Faktoren wie relevante Keywords, hochwertige Inhalte oder eine hohe Mobilfreundlichkeit in aller Munde sind, wird der Wert einer guten XML-Sitemap häufig unterschätzt.

Eine XML-Sitemap (sitemap.xml) ist eine Textdatei im XML-Format (Extensible Markup Language), die eine Auflistung aller Unterseiten einer Website in Link-Form enthält. Als solche kann sie in der Google Search Console oder den Bing Webmaster Tools hochgeladen werden, um den Suchmaschinen-Crawlern alle verfügbaren bzw. relevanten Seiten mitzuteilen und so den Indexierungsprozess zu beschleunigen und zu optimieren. XML-Sitemaps müssen die Vorgaben des Sitemaps-Protokolls erfüllen, das 2006 von Google, Yahoo und Microsoft als Standard beschlossen wurde – mit dem Ziel, die Qualität ausgelieferter Suchresultate langfristig zu verbessern. Daher sind u. a. die Codierung in UTF-8 und die bereits aufgegriffene Auszeichnungssprache XML ebenso vorgeschrieben wie die Verwendung von Entität-Codes für bestimmte Zeichen (wie z. B. „&gt“ anstelle von „>“).

Auch wenn es keine Garantie dafür gibt, dass die Indexierung bei Google und Co. durch XML-Sitemaps in jedem Fall optimiert wird – die strukturierten Link-Verzeichnisse erhöhen in jedem Fall die Chancen. Insbesondere bei Seiten mit dynamischen Inhalten, die stetigen Veränderungen ausgesetzt sind, kann sich das crawlerfreundliche Inhaltsverzeichnis auszahlen. Gleiches gilt für größere Webprojekte, die zwar eine hohe Anzahl an Unterseiten, jedoch (noch) keine große Backlink-Struktur aufweisen. Solche Seiten werden tendenziell zu selten auf Änderungen überprüft oder laufen gar unter dem Radar der Suchmaschinen. Dank sitemap.xml rücken Sie sie schneller in den Fokus der Indexierungs-Bots.

Ein weiterer Vorteil: In XML-Sitemaps können nicht nur URLs von Unterseiten, sondern auch von Mediendateien wie Videos oder Bildern aufgeführt werden. Für diese gibt es sogar Extra-Tags, die dem Crawler verraten, um welchen Inhaltstyp es sich handelt (<image>, <video>). Darüber hinaus lassen sich Attribute verwenden, die den Content näher beschreiben oder die Dauer angeben, damit die Suchmaschinen diesen optimal erfassen können. Auch für Newsportale gibt es eine spezielle Abwandlung der XML-Sitemap, die eine optimierte Indexierung von Artikeln dank spezifischer Attribute wie Genre, Publikationsdatum oder Title verspricht.

Die Formatierung einer XML-Sitemap funktioniert – wie bei jedem Dokument in der Auszeichnungssprache Extensible Markup Language – über XML-Tags. Dabei zählen nach dem aktuellen Standard „Sitemaps 0.9“ drei Tags als Pflichtangaben, um von einer XML-Sitemap sprechen zu können:

Abseits dieser obligatorischen XML-Attribute stehen mit den Sitemap-Tags <priority>, <lastmod> und <changefreq> noch drei weitere Tags zur Verfügung, mit deren Hilfe sich die einzelnen URL-Einträge spezifizieren lassen. Inwieweit diese optionalen Tags allerdings auch unterstützt werden, hängt von der jeweiligen Suchmaschine ab. Der Google-Crawler greift bei der Indexierung beispielsweise in erster Linie auf <lastmod>-Auszeichnungen zurück, während er die beiden anderen Attribute weitestgehend ignoriert bzw. nur minimal in den Crawling-Prozess einfließen lässt.

Da eine XML-Sitemap-Datei maximal 50.000 URLs enthalten und nicht größer als 50 MB sein darf, kann die URL-Sammlung größerer Webprojekte auch auf mehrere Dokumente verteilt werden. In diesem Fall sollte jedes Sitemap-Dokument aber in einer zusätzlichen Indexdatei aufgeführt werden, deren Aufbau sich prinzipiell nicht von dem der Sitemap-Dateien unterscheidet: Es gilt lediglich, die Tags <sitemapindex> und <sitemap> anstelle der Tags <urlset> und <url> zu verwenden.

Der Aufbau einer XML-Sitemap lässt sich am einfachsten durch ein konkretes Beispiel nachvollziehen:

Die Beispiel-XML-Sitemap führt in diesem Fall zum einen die Haupt-URL one-test.website, zum anderen die URLs zweier Unterseiten (page1 und page2) auf. Suchmaschinen-Crawler können dem Dokument entnehmen, dass die Hauptseite vom Webmaster mit der höchsten Priorität versehen wurde und etwa monatlich Veränderungen erfährt. Die letzte Anpassung wurde am 1.1.2018 vorgenommen. Die Seite page1 hat den Standard-Prioritätswert (0,5), wird im Gegensatz zur Hauptseite aber schätzungsweise wöchentlich angepasst, wobei die letzte Modifizierung am 5.3.2018 stattgefunden hat. Sofern der Crawler mit dem Sitemap-Priority-Attribut arbeitet, weiß er, dass er page2 bei der Indexierung am wenigsten Aufmerksamkeit widmen muss (<priority>-Wert: 0,3). Die Unterseite wird aber ebenfalls wöchentlich modifiziert (zuletzt am 8.3.2018).

Über den Download-Button können Sie die erzeugte XML-Sitemap-Datei nun herunterladen und anschließend in das Root-Verzeichnis Ihrer Website hochladen. Um nun beispielsweise den Google-Crawler über die Datei zu unterrichten, reichen Sie die Datei einfach in der Google Search Console ein (setzt ein Google und den Eintrag der Website als Property voraus). Alternativ können Sie an einer beliebigen Stelle in der robots.txt-Datei den Pfad angeben, an dem die Sitemap zu finden ist: