Crawling ist der Prozess, bei dem Webcrawler (auch Bots oder Spider genannt) Websites besuchen und deren Inhalt abrufen und untersuchen.
In diesem Artikel erhältst du einen guten Überblick über das Thema Crawling. Klicke dich zu den detaillierten Artikeln durch, wenn du mehr über das Thema erfahren möchtest.
Was macht der Webcrawler? – Googlebot, Mobile-First Indexierung und Crawl Budget.
Die Hauptfunktion von Webcrawler ist es, Informationen aus Webseiten auszulesen, zu analysieren und zu indexieren. Sie sind sind vor allem als Suchmaschinen-Crawler bekannt. Sie können aber auch für andere Funktionen eingesetzt werden, z.B. um fehlerhafte Inhalte ausfindig zu machen, um Webanalyse oder Data Mining zu betreiben.
Der bekannteste Webcrawler ist der Googlebot von Google. Nur wenn er Seiten regelmäßig indexiert, tauchen sie (in ihrer aktuellen Form) in den Suchergebnissen auf. Allerdings verfügt Google nicht über unbegrenzte Ressourcen zum Crawlen von Webseiten. Die maximale Anzahl an Unterseiten, die der Googlebot crawlen kann, wird auch als Crawl Budget bezeichnet.
Welche Bedeutung haben Crawler für SEO?
Ein fehlerfreies Crawling ist zentral für SEO:
Nur wenn der Crawler Seiten indexieren kann, tauchen sie in den Suchergebnissen auf. Nur dann zeigen Maßnahmen der Suchmaschinenoptimierung eine Auswirkung. Du hast die Möglichkeit, den Googlebot zu steuern, indem du:
- sicherstellst, dass er alle wichtigen Seiten regelmäßig crawlen und indexieren kann und
- unwichtige Seiten nicht indexierst.
Im Zusammenhang mit dem Crawl Budget kann es positiv auf das Ranking wirken, wenn bestimmte Inhalte nicht gecrawlt oder nicht indexiert werden. Jedoch weist Google selbst darauf hin, dass das Crawl Budget in den meisten Fällen problemlos ausreicht.
Was ist die Mobile-First Indexierung?
Seit dem 1. Juli 2019 ist die Mobile-First-Indexierung standardmäßig für neue Websites aktiviert und auch länger bestehende Websites wurden umgestellt. Das heißt konkret, dass der Schwerpunkt bei der Bewertung von Seiten auf die mobile Ansicht legt.
Mit dem Mobile-Friendly-Test kannst du deine Webseite schnell und einfach auf die Optimierung für Mobilgeräte testen.
Wie lange dauert es, bis man bei Google gefunden wird?
Die Dauer der Google-Indexierung ist nicht von Google festgelegt und lässt sich auch nicht „einstellen“. Wenn du dir nicht sicher bist, ob die Website tatsächlich im Google-Index auftaucht, dann ist es sinnvoll, die Google-Indexierung zu prüfen. Dazu gibst du site:deinewebseite.com in das Google-Suchfeld ein.
Wenn eine Google-Indexierung sehr lange dauert oder die Prüfung zu einem negativen Ergebnis kommt, mache dich auf Fehlersuche.
Fallstudien und relevante News
- Google stellt vollständig auf Mobile First-Indexierung um
- Weniger ist mehr: Crawl-Budget
- Brauchen wir einen öffentlichen Web-Index?
Erklärvideo von Google: How Search Works
Google erklärt in etwa fünf Minuten auf Englisch, wie die Suche auf Google funktioniert:
Die gleiche Frage gibt es zudem auf Deutsch in der „Frag doch Google“-Reihe auf dem Google Deutschland Youtube-Kanal:
