Muss man neue Webseiten bei Google melden, damit der Googlebot sie entdeckt und in den Index aufnimmt? Die Idee hinter der Suchmaschinenanmeldung ist, dass man eine Suchmaschine aktiv dazu auffordern muss, die eigene Seite zu kennen und zu crawlen.
Google crawlt das Internet selbstständig. Deshalb ist eine explizite Anmeldung der eigenen Webseite bei Google nicht mehr nötig. Und trotzdem – hin und wieder kommt es vor, dass die Googlebots die ein oder andere Webseite beim Crawling übersehen. Schließlich beläuft sich die Zahl täglich gecrawlter Seiten auf 20 Milliarden.
Wie kann ich die Indexierung meiner Website beschleunigen?
Hält der Zustand der „Unsichtbarkeit“ bei Google an, ist der einfachste Weg die Anmeldung der eigenen Webseite über den kostenlosen Dienst Google Search Console. Durch die proaktive Beantragung zeigt man Google, dass man indexiert werden will. Zwar ist dies kein Garant dafür, dass man schneller im Index aufgenommen wird, die Wahrscheinlichkeit wird aber deutlich erhöht. Um die Indexierung zusätzlich voranzutreiben, kann man Google eine XML-Sitemap hinterlegen in der steht, welche Unterseiten indexiert werden sollen. Das erleichtert die Arbeit des Google Bots.
Eine andere Möglichkeit zur schnelleren Indexierung ist die Funktion „Abruf durch Google“. Hier können einzelne Seiten sofort von einem Bot gecrawlt werden um zu kontrollieren, ob der Aufruf der Seite reibungslos verläuft.
Warum werden manche Seiten nicht indexiert?
Um festzustellen, ob Deine Website überhaupt in Googles Index ist, kannst Du die site:-Abfrage benutzen. Sollte dies nicht der Fall, kann das mehrere Gründe haben.
- Oft liegt es daran, dass eine Website gerade erst gelaunched wurde und die Crawler noch keine Zeit hatten, sie zu indexieren.
- In anderen Fällen kann es durchaus sein, dass Google beim Versuch des Crawlens eine Fehlermeldung bekommen hat oder der Bot durch eine schlechte Webseitenstruktur Schwierigkeiten hat, diese zu crawlen.
- Ein anderes Szenario wäre der Fall, dass Deine Website in irgendeiner Form gegen die Webmaster Richtlinien verstößt und deshalb nicht in den Index aufgenommen wird. In diesem Fall solltest Du schnellstmöglich die Ursprung des Übels ermitteln, die nötigen Anpassungen vornehmen und erneut die Indexierung bei Google beantragen.
- Eine fehlerhafte Robots.txt Datei kann durch den Befehl „noindex“ die Indexierung blockieren.
