Was ist das Deep Web?

Nicht alle Inhalte, die es auf Websites und in Onlineshops gibt, sind für alle Nutzer und Suchmaschinen frei verfügbar. Diese zugriffsbeschränkten Inhalte werden unter dem Begriff „Deep Web“ zusammengefasst. Die Gründe für Zugangsbeschränkungen können vielfältig sein.

Den meisten Menschen ist der Begriff „Deep Web“ wahrscheinlich wenig geläufig, dabei ist es der Oberbegriff für alle möglichen Daten, die Sie nicht einfach über eine Suchmaschine oder die Eingabe einer URL aufrufen können. Und dabei handelt es sich um einen Großteil der Daten und Seiten, die Ihnen im Internet zur Verfügung stehen – zum Beispiel Datenbanken von Unternehmen, Universitäten und Museen, die nur über einen Login besucht werden können, Bankkonten, Warenkörbe, Nutzerkonten von Onlineshops und noch vieles mehr. Zum Deep Web gehört genau genommen auch das Dark Web, wobei sich diese Inhalte noch einmal maßgeblich voneinander unterscheiden.

Wie oben bereits beschrieben, ist eine Möglichkeit, warum Inhalte von den Crawlern der Suchmaschine nicht gefunden und indexiert werden, die Zugangsbeschränkung durch ein Login bzw. die Abfrage eines Passworts. Auch die Zustimmung zu Nutzungsbedingungen oder eine Bezahlschranke können Hindernisse sein. In all diesen Fällen erreichen auch Sie als Nutzer die URL nur, wenn Sie vorher ein Passwort eingegeben oder der Zahlung zugestimmt haben.

Es gibt aber auch noch einen anderen Fall im Deep Web. Dabei können Sie die Seite aufrufen, sofern die URL bekannt ist – der Crawler einer Suchmaschine findet und indexiert sie aber dennoch nicht. Die Gründe dafür sind vielfältig:

Zum einen können Webmaster gezielt mit dem Nofollow-Befehl Inhalte von der Indexierung ausschließen. Zum anderen besteht die Möglichkeit, dass eine Seite innerhalb einer Webpräsenz so versteckt ist, dass der Crawler diese nicht findet. Für jede Website hat der Crawler nämlich nur ein bestimmtes „Seiten-Budget“ – ist dieses ausgeschöpft und es gibt immer noch Seiten auf einer darunterliegenden Ebene, werden diese nicht berücksichtigt. Eine dritte Möglichkeit sind fehlende technische Voraussetzungen für die Indexierung – beispielsweise, wenn Flash verwendet wird.

Grundsätzlich stellen Deep Web-Inhalte für Sie und Ihre Website-Besucher kein Problem dar. Ganz im Gegenteil: Solche Seiten sind auf fast jeder größeren Webpräsenz oder in Online-Shops zu finden und Nutzer gehen mit Logins ganz selbstverständlich um.

Wo die fehlende Indexierung durch Google jedoch eine Rolle spielt, ist beim Thema Suchmaschinenoptimierung. Vor allem bei wissenschaftlichen oder medizinischen Themen liegen oft viele relevante Inhalte hinter einer Zugangsbeschränkung. Ziel sollte es jedoch sein, möglichst viele Inhalte frei zugänglich und indexierbar zu machen (sofern Gesetze und Unternehmenspolitik es zulassen) – oder zumindest Landingpages zu gestalten, die der Suchmaschine eine Idee davon geben, was es (noch) auf Ihrer Website zu finden gibt.