Seit ein paar Tagen bietet Google in den Webmaster Tools eine Rubrik crawl rate an. Im oberen Teil werden Seiten, Kilobytes und die Zeit, die Google benötigte um eine Seite zu laden, pro Tag angezeigt. Alles keine neuen Daten aber ganz interessant, das mit den eigenen Aufzeichnungen abzugleichen.
Weiter unten gibt es dann eine Auswahlmöglichkeit, mit welcher Frequenz der Googlecrawler Seiten lesen soll. Standard ist Normal, Slower kann für Seiten, bei denen die Aufrufe den Server stark belasten hinreich sein aber interessant wird es erst beim Punkt Faster. Dieser Punkt ist nur anwählbar, wenn Google glaubt, dass die Webseite aus mehr Seiten besteht als Google bei der normalen Crawlfrequenz. Damit erlaubt man Google, ihr Crawlfrequenzlimit (hostload) zu überschreiten. Die Erlaubnis gilt für jeweils 90 Tage und muss danach erneuert werden.
