Wenn du beeinflussen willst, welche Inhalte deiner Webseite Suchmaschinen crawlen und indexieren, hast du verschiedene Möglichkeiten. Zwei davon sind die Verwendung von Robots-Meta-Tags und der robots.txt. Klingt ähnlich, unterscheidet sich aber in wichtigen Punkten.
Natürlich kannst du einfach nichts tun und das Crawlen sowie Indexieren deiner Webseite ganz Google überlassen. Das hat aber besonders bei größeren Seiten potenzielle Nachteile.
Vielleicht dauert das Crawlen dann länger als notwendig oder es erscheinen Inhalte in den Suchergebnissen, die dort nicht angezeigt werden sollen. Zum Glück lässt sich beides verhindern. Wichtig ist, dass du dich für die richtige Maßnahme entscheidest. Damit kommen wir zum Thema Robots-Meta-Tags vs. robots.txt.
Was sind Robots-Meta-Tags?
Bei Robots-Meta-Tags handelt es sich um Snippets, die du im Heads-Bereich von Seiten platzierst. Sie sehen folgendermaßen aus:
<meta name="robots" content="noindex" />Mit dem name-Attribut markierst du, welche Suchmaschine du ansprechen willst, mit dem content-Attribut die gewünschte Handlung. In unserem Beispiel verhindert der Tag eine Indexierung des Contents durch alle Suchmaschinen. Die Verwendung dieses Tags ist jedoch nicht für alle Dateitypen geeignet; etwa Bild-, Video- oder Audiodateien können damit nicht vom Indexieren ausgeschlossen werden.
Was ist die robots.txt?
Eine robots.txt-Datei (Robots-Exclusion-Standard-Protokoll) ist eine Textdatei, die Crawlern von Suchmaschinen mitteilt, welche Dateien oder Seiten sie crawlen können. Dafür musst du sie in das Root-Verzeichnis der Webseite hochladen.
Mit user-agent wird in der robots.txt.-Datei die Suchmaschine bzw. ihr Crawler identifiziert. Durch die Anweisungen disallow und allow lässt sich festlegen, welche Verzeichnisse gecrawlt bzw. nicht gecrawlt werden sollen. Zusätzlich kannst du in der robots.txt-Datei auf den Speicherort einer Sitemap verweisen.
Das Ergebnis sieht zum Beispiel so aus:
# Group 1
User-agent: Googlebot
Disallow: /nogooglebot/
# Group 2
User-agent: *
Allow: /
Sitemap: http://www.example.com/sitemap.xmlRobots-Meta-Tags vs. robots.txt – wann du was verwenden solltest
Der zentrale Unterschied zwischen Robots-Meta-Tags und robots.txt ist folgender:
Die robots.txt-Datei eignet sich nicht dazu, Inhalte sicher von einer Indexierung auszuschließen. Durch eingehende Links werden diese unter Umständen trotzdem indexiert.
Google rät deshalb, die robots.txt-Datei zu verwenden, um den Crawling-Traffic zu verwalten oder zu verhindern, dass Bild-, Video- und Audiodateien in den Suchergebnissen angezeigt werden.
Durch Robots-Meta-Tags mit der Anweisung noindex verhinderst du zuverlässig, dass Seiten in den Suchergebnissen auftauchen. Dafür kannst du mit ihnen nicht einzelne Bild-, Audio- oder Videodateien von einer Indexierung ausschließen.
Tipp: Achte darauf, dass sich beide Maßnahmen nicht gegenseitig behindern. Das bedeutet: wenn eine robots.txt-Datei das Crawlen einer Seite verbietet, kann der Crawler Robots-Meta-Tags nicht auslesen. Dann kommt es unter Umständen wieder zu einer Indexierung, die du eigentlich vermeiden wolltest.
SISTRIX kostenlos testen
Beginne noch heute, mit SISTRIX deine Rankings zu verbessern.
- Kostenloser Testaccount für 14 Tage
- Unverbindlich, keine Kündigung notwendig
- Persönliches Onboarding durch Experten
