Mit Robots-Meta-Tags gibst du Suchmaschinen Anweisungen, wie sie Seiten indexieren und in Snippets anzeigen sollen. Hier findest du einen Überblick über Spezifikationen für Google.
Robots-Meta-Tags setzt du in den Heads-Bereich von Webseiten ein. So gibst du Crawlern von Suchmaschinen Anweisungen, zum Beispiel dazu, ob sie eine Seite in den Index aufnehmen sollen oder nicht.
Das name-Attribut – wen willst du adressieren?
Mit dem name-Attribut kennzeichnest du, welchen Crawler du ansprichst. Der allgemeine Web-Crawler von Google heißt Googlebot. Daneben gibt es diverse weitere Google-Crawler sowie natürlich die Crawler anderer Suchmaschinen wie Bing.
Du hast auch die Möglichkeit, in Robots-Meta-Tags verschiedenen Crawlern unterschiedliche Anweisungen zu geben. Das sieht dann zum Beispiel so aus:
<meta name=“googlebot-image“ content=“noindex“>
<meta name=“googlebot-news“ content=“nosnippet“>
Spezifikationen für das content-Attribut
Das content-Attribut ist deine Anweisung an den Crawler. Welche Werte dir hier zur Verfügung stehen, unterscheidet sich je nach Suchmaschine.
Die folgenden gelten für Google und teilweise auch für Bing:
Mehrere Anweisungen kombinieren
Du hast die Möglichkeit, in Robots-Meta-Tags mehrere Anweisungen miteinander zu kombinieren. Dazu trennst du diese mit einem Komma. Das folgende Beispiel erlaubt maximal 25 Zeichen für das Snippet und eine Standardbildvorschau.
<meta name="robots" content="max-snippet:25, max-image-preview:standard">
Wichtig: Ende 2019 gab Google bekannt, dass nofollow in Zukunft nicht mehr als Anweisung, sondern nur noch als Hinweis gilt. Es gibt also keine Garantie mehr darauf, dass der Google Crawler Links von der betreffenden Seite nicht folgt:

SISTRIX kostenlos testen
Beginne noch heute, mit SISTRIX deine Rankings zu verbessern.
- Kostenloser Testaccount für 14 Tage
- Unverbindlich, keine Kündigung notwendig
- Persönliches Onboarding durch Experten