Die Werte des Meta-Elements „robots“ werden nur von den Crawlern der Suchmaschinen interpretiert. In den meisten Fällen werden die Werte „Index“ und „Follow“ verwendet, um den Crawler anzuweisen, die vorliegende Seite in den Index aufzunehmen und allen auffindbaren Links zu folgen.
Index & NoIndex
Durch diese Angabe im Quellcode wird die Seite in den Index aufgenommen und alle ihre Links gecrawlt:
<meta name="robots" content="index, follow">Möchte man eine spezifische URL nicht im Google-Index (oder im Index einer anderen Suchmaschine) haben, so kann man den Wert des Meta-Elements „robots“ auf NoIndex setzen.
Durch folgende Angabe im Quellcode wird die Seite nicht den Index aufgenommen:
<meta name="robots" content="noindex">Sind die Werte NoIndex und Follow zusammen sinnvoll?
Hierbei kommt es natürlich auf den verfolgten Zweck an. In welchem Falle würde man eine Seite nicht im Index der Suchmaschine, jedoch alle auf ihr befindlichen Links gecrawlt haben wollen?
Einen solchen Fall hat Matt Cutts in einem Google-Webmaster-Video vorgestellt:
Angenommen, du hast eine HTML-Sitemap mit vielen internen Links. Diese Sitemap ist, sagen wir, grafisch nicht sehr ansprechend. Ein User, der aus den Suchergebnissen heraus auf diese Seite kommt, wäre möglicherweise unglücklich. Um das zu verhindern, den Suchmaschinen jedoch nach wie vor die Möglichkeit zu geben, allen auf dieser Seite verfügbaren Links zu folgen, kann der Wert NoIndex zusammen mit Follow verwendet werden.
Durch diese Angabe im Quellcode wird die Seite nicht den Index aufgenommen, jedoch alle auf ihr befindlichen Links gecrawlt:
<meta name="robots" content="noindex, follow">Ein weiteres mögliches Anwendungs-Szenario könnten Tag-Seiten von Blogs sein:
In einigen Fällen berichteten Webmaster, dass die Tag-Seiten ihres Blogs besser rankten als zugehörige Artikel. Die Tag-Seiten rankten meist 2-3 Positionen über den zugehörigen Artikeln. Nachdem die Tag-Seiten auf NoIndex und Follow gesetzt waren, verbesserte sich das Ranking der Artikel um die besagten 2-3 Positionen.
Was sagt Google?
Es ist nicht üblich, aber es gibt durchaus einige Situationen, in denen man das tun kann.
Quelle: Matt Cutts
