Um Probleme bei der Indexierung der eigenen Website durch den Google-Bot zu vermeiden und internen Duplicate Content aufgrund von URL-Kanonisierung (auf englisch „canonicalization“) auszuschließen, sollte auf den bevorzugten Domainnamen mittels einer 301-Weiterleitung verwiesen werden.
Siehe hierzu auch: Meine Website ist mit und ohne www. aufrufbar. Ist das schädlich?
Einrichtung einer 301-Weiterleitung auf den www.-Hostnamen einer Domain
Hat man bereits wie von Google empfohlen in der Google Search Console den bevorzugten Domainnamen ausgewählt, können durch das Setzen einer 301-Weiterleitung auch die User auf die gewünschte Domainbezeichnung umgeleitet werden.
In diesem Beispiel leiten wir alle Aufrufe von http://domain.de/ auf http://www.domain.de/ weiter.
Bei der Nutzung eines Apache-Webservers, füge folgenden Quellcode in die .htaccess-Datei ein:
RewriteEngine On
RewriteCond %{HTTP_HOST} !^www.domain.de$
RewriteRule ^(.*)$ https://www.domain.de/$1 [R=301,L]
Ergebnis: Beim Aufruf der Website über domain.de wird auf www.domain.de weitergeleitet und der HTTP-Statuscode 301 übergeben. Dies gilt auch für den Aufruf einer URL. Somit wird aus http://domain.de/datei.html ebenfalls https://www.domain.de/datei.html
Wichtig: die Weiterleitung nimmt direkt an, dass eine HTTPS-Version der Seite vorliegt. Ist dies nicht der Fall, muss in der „RewriteRule“-Zeile ein http:// genutzt werden.
Tipp: Die interne Verlinkung einheitlich gestalten
Entsprechend des bevorzugten Domainnamens sollte die interne Verlinkung einheitlich gestaltet und stringent eingehalten werden. Wurde z. B. www.domain.de als bevorzugte Domain gesetzt, dann verlinke deine internen Seiten auch immer nach dem Muster http://www.domain.de/ein-verzeichnis/datei.html. Hierbei empfiehlt es sich, absolute Pfadangaben statt relative Pfadangaben zu verwenden.
Was sagt Google?
Die bevorzugte Domain ist die Domain, die zur Indexierung der Seiten Ihrer Website verwendet werden soll. In Links, die auf Ihre Website verweisen, kann die URL mit oder ohne „www” angegeben sein, also beispielsweise entweder http://www.ihrebeispielurl.de oder http://ihrebeispielurl.de lauten. Die bevorzugte Domain ist jene Version, die in den Suchergebnissen für Ihre Website verwendet werden soll. Nachdem Sie Ihre bevorzugte Domain festgelegt haben, können Sie Aufrufe über eine 301-Weiterleitung von Ihrer nicht bevorzugten Domain weiterleiten
Quelle: Search-Console-Hilfe
Unser Google-Fazit
Um wirklich alle Probleme beim Crawlen deiner Website auszuschließen, solltest du dich für eine bevorzugte Domain entscheiden und alle anderen Aufrufmöglichkeiten dorthin weiterleiten.