Eine Website kann nur über die Google-Suche gefunden werden, wenn sie zuvor in den Google-Index aufgenommen wurde. Dafür crawlt der Google-Bot jeden Tag Milliarden von Webseiten auf der Suche nach neuen oder aktualisierten Inhalten. So stellt Google sicher, dass nahezu alle im Web verfügbaren Websites über die Google-Suche gefunden werden können.
Webmaster haben einen gewissen Einfluss auf den Google-Bot bzw. dessen Crawling-Prozess. Sie können unter anderem bestimmen, welche Inhalte ihrer Website in den Google-Index aufgenommen und welche nicht.
Um dem Google-Bot das Crawlen und Verstehen der eigenen Website zu erleichtern, ist es wichtig auf eine gute OnPage-Optimierung samt solider Seitenstruktur (Sitemaps) und interner Verlinkung zu achten.
Beim Crawling werden neue oder aktualisierte Seiten für Google gefunden (Google hat meine Website gecrawlt). Ein Google-Crawler crawlt die Seite – oder mit anderen Worten: Er fordert sie an. Die Begriffe „crawlen“ und „indexieren“ werden oft gleichbedeutend verwendet, obwohl es sich um unterschiedliche (wenn auch eng miteinander verbundene) Prozesse handelt.
Es ist wichtig und hilfreich sich mit den verschiedenen Systemen auszukennen, die Google nutzt. Nur so lässt sich später sauber analysieren, wenn etwas nicht funktioniert.
Video: How Search Works
Google erklärt in etwa fünf Minuten auf Englisch, wie die Suche auf Google funktioniert:
Die gleiche Frage gibt es zudem auf Deutsch in der „Frag doch Google“-Reihe auf dem Google Deutschland Youtube-Kanal:
Mehr und Grundlagen
Das Crawl-Verhalten von Google verstehen: Crawling und Indexierung von großen/umfangreichen Websites
