In der Regel sind Betreiber professioneller Websites bemüht, die Sichtbarkeit des eigenen Projekts in der Suchmaschine zu erhöhen. Eine Voraussetzung dafür ist, dass alle relevanten URLs von Suchrobotern ausgelesen und somit in den Index aufgenommen werden können. Dabei ist zu beachten, dass Suchmaschinen Websites nur selten komplett crawlen. Denn selbst beim Marktführer Google sind die Kapazitäten für das Erfassen und Speichern von Webinhalten begrenzt. Stattdessen wird jeder Domain ein bestimmtes Crawling-Budget zugesprochen. Dieses legt fest, wie viele URLs pro Tag ausgelesen und ggf. indexiert werden. Gerade Betreiber umfangreicher Webprojekte sind gut beraten, hier strategisch vorzugehen, indem sie Suchrobotern signalisieren, welche Seitenbereiche gecrawlt werden sollen und welche ignoriert werden können. Wichtige Werkzeuge im Rahmen dieses Indexierungsmanagements sind Robots-Angaben in Meta-Tags, das Canonical-Tag, Weiterleitungen und nicht zuletzt die Datei robots.txt, um die es in diesem Tutorial geht.