Mit Robots-Meta-Tags gibst du Suchmaschinen Anweisungen, wie sie Seiten indexieren und in Snippets anzeigen sollen. Hier findest du einen Überblick über Spezifikationen für Google.
Robots-Meta-Tags setzt du in den Heads-Bereich von Webseiten ein. So gibst du Crawlern von Suchmaschinen Anweisungen, zum Beispiel dazu, ob sie eine Seite in den Index aufnehmen sollen oder nicht.
Das name-Attribut – wen willst du adressieren?
Mit dem name-Attribut kennzeichnest du, welchen Crawler du ansprichst. Der allgemeine Web-Crawler von Google heißt Googlebot. Daneben gibt es diverse weitere Google-Crawler sowie natürlich die Crawler anderer Suchmaschinen wie Bing.
Du hast auch die Möglichkeit, in Robots-Meta-Tags verschiedenen Crawlern unterschiedliche Anweisungen zu geben. Das sieht dann zum Beispiel so aus:
<meta name=“googlebot-image“ content=“noindex“>
<meta name=“googlebot-news“ content=“nosnippet“>
Spezifikationen für das content-Attribut
Das content-Attribut ist deine Anweisung an den Crawler. Welche Werte dir hier zur Verfügung stehen, unterscheidet sich je nach Suchmaschine.
Die folgenden gelten für Google und teilweise auch für Bing:
| content-Attribut | Spezifikation |
|---|---|
| noindex | Die betreffende Seite nicht in den Suchergebnissen anzeigen. |
| nofollow | Links auf der betreffenden Seite nicht folgen. |
| none | Entspricht noindex, nofollow. |
| noarchive | Keinen Link, der im Cache gespeichert ist, in den Suchergebnissen anzeigen. |
| nosnippet | Weder Text-Snippet noch Videovorschau in den Suchergebnissen anzeigen; unter Umständen ist jedoch eine statische Miniaturansicht sichtbar. |
| ax-snippet:[number] | Maximal [number] Zeichen im Textauszug verwenden. 0 entspricht nosnippet. -1 dagegen bedeutet, dass Google die Snippet-Länge auswählt, durch die Nutzer am ehesten auf die eigene Seite kommen. |
| max-image-preview:[setting] | Gibt die maximale Größe für die Bildvorschau an. Dabei hast du die Wahl zwischen: none: Keine Bildvorschaustandard: Standardbildvorschaularge: Bildvorschau, die bis zu doppelt so breit wie der Darstellungsbereich ist |
| max-video-preview:[number] | Video-Snippets dürfen höchstens [number] Sekunden lang sein. 0 bedeutet, dass maximal ein statisches Bild erlaubt ist, bei -1 gibt es keine Höchstgrenze. |
| notranslate | Keine Übersetzung in den Suchergebnissen anbieten. |
| noimageindex | Bilder nicht indexieren. |
| unavailable_after:[date/time] | Die Seite nach diesem Datum nicht mehr in Suchergebnissen anzeigen. Damit Google die Anweisung befolgt, ist es wichtig, dass du Datum bzw. Uhrzeit in einem gängigen Format wie RFC 822, RFC 850 und ISO 8601 angibst. Gültig wäre zum Beispiel |
Mehrere Anweisungen kombinieren
Du hast die Möglichkeit, in Robots-Meta-Tags mehrere Anweisungen miteinander zu kombinieren. Dazu trennst du diese mit einem Komma. Das folgende Beispiel erlaubt maximal 25 Zeichen für das Snippet und eine Standardbildvorschau.
<meta name="robots" content="max-snippet:25, max-image-preview:standard">Wichtig: Ende 2019 gab Google bekannt, dass nofollow in Zukunft nicht mehr als Anweisung, sondern nur noch als Hinweis gilt. Es gibt also keine Garantie mehr darauf, dass der Google Crawler Links von der betreffenden Seite nicht folgt:
