Seit Google der Ankündigung Yahoos, Metatags künftig auch in HTTP-Headern zu unterstützen, gefolgt ist, wird es höchste Zeit, sich Gedanken über Einsatzmöglichkeiten und Auswirkungen zu machen. Im Grunde geht es darum, dass Anweisungen, die Suchmaschinencrawlern bisher über einen Meta-Tag imder HTML-Seite bekamen, nun auch innerhalb des HTTP-Headers übermittelt werden können.
Der HTTP-Header unterscheidet sich insofern vom Head-Bereich der HTML-Datei, als dass er für Seitenbesucher im Regelfall noch „unsichtbarer“ ist. Muss man, um den Head-Bereich zu betrachten, lediglich in die Quelltextansicht des Browsers (Strg+U für Firefox) wechseln, bedarf es für den HTTP-Header externer Plugins oder Tools. Für den Firefox gibt es hier das empfehlenswerte Plugin LiveHTTPHeaders, als Onlinetool haben wir einen HTTP-Header-Viewer in unserem Toolbereich online. Um sich einen Eindruck von der generellen Einbindung des X-Robots-Tags zu machen, habe ich hier eine Beispieldatei online gestellt: x-robots-demo.php (PHP-Source)
Welche Vorteile ergeben sich nun durch diesen Header-Tag? Bislang war es so, dass man die Meta-Tags nur dort einsetzen konnte, wo es auch einen HTML-Head-Bereich gab – für viele Dateitypen wie PDFs, Bilder oder herunterladbare Dateien gab es diese Möglichkeit der Robotsteuerung auf Dateiebene also nicht. Wollte man PDFs von der Indexierung ausschließen, musste für diese regelmäßig ein eigener Ordner, der per robots.txt gesperrt war, angelegt werden. Weitergehende Steuerungsmöglichkeiten, wie „noindex, follow“ waren nicht möglich – der X-Robots-Tag ermöglichst hier nun erstmals eine Steuerrung der Indexerung auf Dateiebene. Allerdings muss man auch bedenken, dass ein weiterer Punkt zu der Überprüfung, ob ein Link für Suchmaschinen „LinkJuice“ vererbt hinzukommt. War es bislang ausreichend, auf „rel=‘nofollow‘“ auf Linkebene sowie „meta-nofollow“ auf Seitenebene zu prüfen, ist nun zusätzlich die Überprüfung der HTTP-Header vorzunehmen.
