Der Googlebot ist der Webcrawler von Google. Er sammelt und indexiert Inhalte im Netz und schafft so die Voraussetzungen dafür, dass Google Suchanfragen beantworten kann. Erfahre hier mehr darüber, wie der Googlebot funktioniert und welche Rolle er für SEO spielt.
Crawler von Suchmaschinen sind ständig damit beschäftigt, Webseiten zu crawlen. Das heißt: sie sammeln sowie analysieren Inhalte und legen einen Index an und/oder aktualisieren diesen. Aus diesem Index stammen die Informationen, die die Suchmaschine Nutzern zur Verfügung steht. Anders ausgedrückt: ohne Index keine Suchmaschine.
Dabei bewegen sich die Crawler entlang von Hyperlinks, ähnlich wie Spinnen an den Fäden in ihrem Netz. Deshalb lautet ein alternativer Name zu einem Crawler auch Spider.
Als Crawler der mit Abstand wichtigsten Suchmaschine nimmt der Googlebot eine prominente Stellung unter seinesgleichen ein.
Diese Arten von Googlebots gibt es
Eigentlich ist es nicht korrekt, von „dem“ Googlebot zu sprechen. Denn es gibt verschiedene Arten von Googlebots.
Google selbst unterscheidet zunächst zwischen
- einem Computer-Crawler und
- einem Googlebot mobile.
Im Regelfall werden Webseiten von beiden gecrawlt. Außerdem gibt es diese Googlebots:
- Googlebot Image
- Googlebot News
- Googlebot Videos
Der Googlebot und SEO
Der Googlebot ist aus einem einfachen Grund zentral für SEO:
Nur wenn er Seiten indexiert, tauchen sie (in ihrer aktuellen Form) in Suchergebnissen auf. Nur dann wirken auch Maßnahmen der Suchmaschinenoptimierung, etwa die Integration von Keywords.
Dabei hast du verschiedene Möglichkeiten, den Googlebot zu steuern, indem du:
- sicherstellst, dass er alle wichtigen Seiten regelmäßig crawlen und indexieren kann und
- unwichtige Seiten nicht indexierst.
In diesem Zusammenhang spielt das Crawl Budget eine wichtige Rolle. Das steht dem Googlebot für jede Seite nur begrenzt zur Verfügung. Darum kann er nur eine bestimmte Anzahl an Unterseiten crawlen.
So unterstützt du den Googlebot beim Crawlen
Wichtige Maßnahmen, um sicherzustellen, dass der Googlebot alle wichtigen Inhalte deiner Webseite indexiert, sind die folgenden:
- Achte auf eine flache Webseitenarchitektur.
- Optimiere die interne Verlinkung. Denn nur über Links findet der Googlebot Unterseiten.
- Stelle Google eine Sitemap zur Verfügung. Diese reichst du bei der Search Console ein oder fügst sie der robots.txt-Datei hinzu. Sie ist eine Art Landkarte für den Googlebot.
Seiten aussperren – wie und warum
Manchmal ist es sinnvoll, zu verhindern, dass der Googlebot Inhalte crawlt oder indexiert. So verhinderst du, dass zum Beispiel Duplicate Content entsteht, Adminseiten als Google-Suchergebnis auftauchen und das Crawl Budget unnötig in Anspruch genommen wird. Letztendlich verhinderst du so auch Rankingverluste – Stichwort Duplicate Content.
Je nachdem, was du erreichen willst, bieten sich zu diesem Zweck vor allem die robot-txts, Canonical Tags oder X-Robots-Tags an.
Wichtig: Jede dieser Methoden eignet sich für einen anderen Einsatzbereich. Achte darauf, dass du sie gezielt einsetzt, um die gewünschte Wirkung zu erzielen.
