
Suchmaschinen nutzen Crawler, um neue Seiten zu finden und diese für die Suche zu indizieren. Was grundsätzlich eine gute Sache ist, wird störend, wenn auch Bereiche berücksichtigt werden, die nicht für die Öffentlichkeit gedacht sind. Mit robots.txt schließen Sie WordPress-Seiten für den Crawler aus. Wir erklären Ihnen, wie das geht.