Mit der Noindex-Anweisung im Quelltextes einer spezifischen URL bittet man Suchmaschinen darum, diese Seite nicht in den Suchindex zu übernehmen.
Was bedeutet „noindex“ und wann wird es benutzt?
Mit der noindex-Anweisung informiert ein Webseitenbetreiber Suchmaschinencrawler darüber, dass eine bestimmte Unterseite einer Webseite nicht in den Index der Suchmaschine aufgenommen werden soll.
Noindex ist die einzige zuverlässige Methode um sicherzustellen, dass eine URL unter keinen Umständen in den SERPs erscheint. Der Vorgang verbraucht dabei Crawling-Budget, da Google die Seite aufrufen und auswerten muss, jedoch kein Index-Budget.
Wie kann ich die noindex-Anweisung implementieren?
Es gibt zwei Möglichkeiten, die Indexierung von Unterseiten per noindex-Anweisung zu blockieren. Sie kann entweder als Meta-Tag im HTML der Seite hinterlegt werden oder aber im HTTP-Header stehen.
Per Meta-Tag im Head-Bereich des Quelltextes
<head>
<meta name="robots" content="noindex">
</head>Mit diesem Befehl würde man alle Suchmaschinen zum Nicht-Indexieren auffordern. Zudem ist es möglich, nur bestimmten Bots, per noindex-Aufruf, die Indexierung zu verwehren. Dazu ersetzt man den Wert des Attributs „name“ mit dem Namen des gewünschten Bots.
Für den allgemeinen Google-Bot:
<meta name="googlebot" content="noindex">Für den allgemeinen Bing-Bot:
<meta name="bingbot" content="noindex">Wichtig:Bei der Nutzung einzelner Bot-Namen werden immer nur genau diese Bots angesprochen. Eine Liste alle möglichen Google-Bot User-Agents hat Google selbst zusammengetragen.
Per HTTP-Response-Header
Eine andere Möglichkeit, die Indexierung von Webseiten zu verhindern, geht über den X-Robots-Tag-Header. Hierbei wird die Anweisung zum Indexierungsstatus direkt in dem Response-Header der HTTP-Antwort mitgesendet.
Das eine solche Response könnte folgendermaßen aussehen:
HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)Auch bei dieser Variante lassen sich einzelne Bots verschiedener Suchmaschinen direkt ansprechen und ausschließen. Eine komplette Liste aller möglichen Anweisungen, an die sich Google hält, findet sich auf der Googles Developer Seite.
Was ist der Unterschied zwischen den beiden Implementierungsarten?
Beide Formen der Implementierung führen zum gleichen Ergebnis: die URL wird nicht in den Index der Suchmaschine aufgenommen.
Der Vorteil vom X-Robots-Tag ist der, dass auch Dokumente ohne HTML-Quelltext, wie zum Beispiel PDF- oder sonstige Dateien von der Indexierung ausgeschlossen werden können.
Vorsicht vor der robots.txt
Damit die noindex-Anweisung von den Crawlern erkannt und ausgeführt werden kann, müssen die Seiten crawlbar sein. Deshalb ist es wichtig sicherzugehen, dass das Crawlen der Seite nicht über die robots.txt-Datei verhindert wird.
