robots.txt bei WordPress: So richten Sie die Datei ein

Nicht jede Un­ter­sei­te oder alle Ver­zeich­nis­se auf Ihrer Website sind so wichtig, dass sie unbedingt von den gängigen Such­ma­schi­nen gecrawlt werden sollten. Mit Hilfe der Datei robots.txt können Sie bestimmen, welche WordPress-Un­ter­sei­ten vom Crawler be­rück­sich­tigt werden sollen und welche nicht. So plat­zie­ren Sie Ihre Website deutlich besser bei der On­line­su­che. Hier erklären wir Ihnen, was robots.txt bei WordPress bewirkt und wie Sie die Datei selbst op­ti­mie­ren.

Rund um die Uhr durch­su­chen so­ge­nann­te Crawler das Internet nach Webseiten. Diese Bots werden von den je­wei­li­gen Such­ma­schi­nen los­ge­schickt und erfassen möglichst viele Seiten und Un­ter­sei­ten (In­de­xie­rung), um sie für die Suche verfügbar zu machen. Damit die Crawler Ihre Website gut auslesen können, müssen sie geleitet werden. So vermeiden Sie, dass Inhalte Ihrer Seite indexiert werden, die für Such­ma­schi­nen ir­rele­vant sind, und stellen sicher, dass der Crawler nur die Inhalte ausliest, der er auslesen soll.

Für diese Steuerung können Sie die robots.txt verwenden. Bei WordPress und anderen CMS bestimmen Sie mit dieser Datei, welche Bereiche Ihrer Website von den Crawlern erfasst werden und welche nicht. Über die robots.txt können Sie Bots aus­schlie­ßen oder zulassen und auch genaue Un­ter­schei­dun­gen treffen, welche Such­ma­schi­nen welche Einträge finden und dann in der Suche aus­spie­len. Da jede Domain nur ein li­mi­tier­tes Crawling-Budget hat, ist es umso wichtiger, die Haupt­sei­ten zu pushen und un­be­deu­ten­de Un­ter­sei­ten aus dem Such­vo­lu­men zu nehmen.

Es hat große Vorteile, wenn robots.txt bei WordPress genau festlegt, welche Inhalte indiziert werden und welche nicht. Während etwa Ihre Start­sei­te bei möglichst jeder passenden Suche eine gute Plat­zie­rung im Ranking haben sollte, gilt das für das Impressum Ihrer Seite nicht. Auch Kom­men­ta­re oder Archive sorgen in der Suche für keinen Mehrwert und können im Gegenteil sogar Nachteile bringen – dann nämlich, wenn die Such­ma­schi­nen hier Duplicate Content erkennen und diesen negativ bewerten. Mit einer robots.txt-Datei bei WordPress schließen Sie solche Fälle best­mög­lich aus und lenken die un­ter­schied­li­chen Crawler statt­des­sen auf die Bereiche Ihrer Website, die wirklich gefunden werden sollen.

Zu Anfang erstellt WordPress selbst eine robots.txt-Datei und leistet damit eine grund­sätz­li­che Vorarbeit. Al­ler­dings ist diese wenig um­fang­reich und sollte daher vor allem als Start­punkt gesehen werden. Sie sieht so aus:

Der „User-agent“ in der ersten Zeile meint hier die Crawler. „*“ drückt aus, dass alle Such­ma­schi­nen ihre Bots zu Ihrer Seite schicken dürfen. Das ist grund­sätz­lich erstmal emp­feh­lens­wert, da so Ihre Website auch häufiger gefunden wird. Der Befehl „Disallow“ sperrt die nach­fol­gen­den Ver­zeich­nis­se für die Crawler – in diesem Fall sind das die Ad­mi­nis­tra­ti­on und das Ver­zeich­nis aller Dateien bei WordPress. robots.txt sperrt diese für Such­ma­schi­nen, da Besucher nichts auf den je­wei­li­gen Seiten zu suchen haben. Damit sie tat­säch­lich nur von Ihnen auf­ge­ru­fen werden können, schützen Sie diese Bereiche mit einem guten Passwort.

Such­ma­schi­nen wie Google sollten Ihre Seite natürlich auch weiterhin gut finden können. Eher schäd­li­che oder zwie­lich­ti­ge Services wie Dugg­Mir­ror al­ler­dings nicht; diese schließen Sie mit robots.txt bei WordPress aus. Dazu sollten Sie Themes, Ihr Impressum und andere Seiten, die keine oder nur geringe Relevanz haben, von der In­de­xie­rung ausnehmen. Auch Plugins sollten nicht indiziert werden – nicht nur, weil sie für die Öf­fent­lich­keit nicht relevant sind, sondern auch aus Si­cher­heits­grün­den. Hat ein Plugin eine Si­cher­heits­pro­blem, kann Ihre Website von An­grei­fern auf diese Weise gefunden und be­schä­digt werden.

In den meisten Fällen reichen Ihnen die beiden oben bereits genannten Befehle, um robots.txt bei WordPress sinnvoll zu nutzen: „User-agent“ legt fest, welche Bots an­ge­spro­chen werden sollen. So können Sie Ausnahmen für bestimmte Such­ma­schi­nen bestimmen oder auch grund­sätz­li­che Regeln auf­stel­len. „Disallow“ verbietet Crawlern den Zugriff auf eine ent­spre­chen­de Seite oder Un­ter­sei­te. Der dritte Befehl „Allow“ ist in den meisten Fällen nicht von Belang, da der Zugriff stan­dard­mä­ßig erlaubt ist. Lediglich wenn Sie eine Seite sperren, aber deren Un­ter­sei­te freigeben möchten, benötigen Sie diesen Befehl.

Sie können die robots.txt-Datei bei WordPress auch mit einem SEO-Plugin erstellen und ändern. Das erfolgt ganz bequem und sicher im Dashboard und kann somit noch einfacher sein. Ein beliebtes Plugin für diesen Zweck ist Yoast SEO.

Schritt 1: Zunächst müssen Sie das Plugin in­stal­lie­ren und ak­ti­vie­ren.

Schritt 2: Erlauben Sie dann dem Plugin, er­wei­ter­te Än­de­run­gen vor­zu­neh­men. Dafür gehen Sie auf „SEO“ > „Dashboard“ >, „Features“ und klicken unter dem Punkt „Advanced settings pages“ auf „Enabled“.

Schritt 3: Nach dieser Ak­ti­vie­rung nehmen Sie Än­de­run­gen im Dashboard unter „SEO“ > „Tools“ > „File editor“ vor. Dort können Sie direkt eine neue robots.txt-Datei bei WordPress erstellen und be­ar­bei­ten. Die Mo­di­fi­ka­tio­nen werden dann direkt umgesetzt.

Nun haben Sie Ihre Website ein­ge­stellt, Regeln fest­ge­setzt und zumindest in der Theorie Crawler aus­ge­sperrt und Un­ter­sei­ten un­sicht­bar gemacht. Wie aber stellen Sie fest, ob all Ihre Än­de­run­gen auch tat­säch­lich so durch­ge­führt wurden? Dabei hilft Ihnen die Google Search Console. In dieser finden Sie auf der linken Seite unter „Crawl“ den „robots.txt Tester“. Dort geben Sie Ihre Seiten und Un­ter­sei­ten ein und sehen dann, ob diese gefunden werden können oder gesperrt sind. Ein grünes „allowed“ am unteren rechten Rand bedeutet, dass die Crawler die Seite finden und be­rück­sich­ti­gen, ein rotes „di­s­al­lo­wed“ heißt, die Seite wird nicht indiziert.

Die Datei robots.txt ist für WordPress eine ebenso simple wie effektive Methode, um fest­zu­le­gen, welche Bereiche Ihrer Seite von wem gefunden werden sollen. Wenn Sie sowieso bereits ein SEO-Plugin wie Yoast nutzen, ist es am ein­fachs­ten, die Än­de­run­gen damit vornehmen. Ansonsten lässt sich die Datei aber auch pro­blem­los manuell erstellen und anpassen.