Den englischen Begriff Deep Crawl umschreibt man am besten mit Tiefen-Indexierung. Von einigen Suchmaschinen wird diese spezielle Technik angewendet. Dabei werden alle Unterseiten einer Webseite durchsucht und indexiert. Bei Suchmaschinen ohne Deep Crawl werden Unterseiten nur bis zu einer bestimmten Verzeichnistiefe indexiert. Es gibt auch verschiedene Kriterien, nach denen Suchmaschinen beurteilen ob eine Unterseite durchsucht wird oder nicht. Neben dem PageRank der Seite kann das auch die Link Popularität sein.
Suchmaschinen mit Deep Crawl nehmen bei bereits indexierten Domains automatisch jede Unterseite mit in ihren Index auf. Dabei werden Informationen bis zur Untersten Ebene ausgelesen. Dieser Vorgang ist sehr zeitaufwändig. Um eine Überlastung des Servers zu verhindern arbeiten Suchmaschinen hier mit Wartezeiten.
In den Server-Logfiles kann man genau mitverfolgen, ob ein Deep Crawling auf der eigenen Seite stattgefunden hat und wie tief die Unterseiten mit in die Indexierung einbezogen wurden.