Alle Milliarden Webseiten des Internets zu erfassen und zu indexieren bedeutet für die Suchmaschinen einen erheblichen Aufwand. Als Beispiel sie hier die bekannteste und meist genutzte Suchmaschine Google aufgeführt, die für die Erstellung eines neuen Indexes ca. einen ganzen Monat braucht.
Um diesen Aufwand und die Zeit der Indexierung auf ein Minimum zu reduzieren wird Focused Crawling genutzt. Dabei werden nur noch die wichtigsten Seiten durch die Robots durchsucht und auch nur ein bestimmter Teil der Seiten wird durch regelmäßige Besuche aufgefrischt.
Seiten, die wenig oder nie aktualisiert werden, werden beispielsweise von den Google-Bots viel seltener aufgesucht. Suchmaschinen messen zunächst den Umfang der Aktualisierung auf einer Seite. Regelmäßiges Aktualisieren der eigenen Webseite steigert die Häufigkeit der Indexierung durch Suchmaschinen.