Für unsere reguläre Linkdatenbank crawlen wir 250.000 Seiten pro Minute bzw. 10 Milliarden Seiten pro Monat. Als Ergebnis aktualisieren wir die Daten zu über 250 Milliarden Links pro Monat. Die Daten dieser Linkdatenbank werden durchschnittlichen jeden Monat aktualisiert.
Damit wir Links, die zum Abfragezeitpunkt unserer Crawler zwischenzeitlich nicht erreichbar sind, nicht zu früh als tot anzusehen, geben wir diesen Links eine gewisse Zeit, erneut von unseren Crawlern erfasst zu werden. Es kann mehrere Updatezyklen brauchen, bis wir einen Link aus dem Index nehmen. Finden wir einen Link 60 Tage lang nicht mehr, gehen wir avon aus, dass ein Link tatsächlich nicht mehr existiert und nehmen diesen aus dem Index.
