Beim Durchsehen einiger Server-Logfiles ist mir aufgefallen, dass mittlerweile sogar Microsoft und Google nicht vor zwielichtigen Methoden der Bewerbung ihrer eigenen Suchmaschine zurückschrecken. War Referrer-Spam, also das automatische Besuchen von Webseiten mit einem gesetzten Referrer der zu bewerbenden Seiten früher doch eher Erotik- und Viagra-Seite vorbehalten, scheinen jetzt auch die beide Suchmaschinengiganten ihren Bekanntheitsgrad so steigern zu wollen.
Spaß beiseite, sowohl Microsoft als auch Google überprüfen mittlerweile Seiten auf Cloaking auf Referrerbasis. Dazu rufen sie die Seiten mit einem Referrer, der so aussieht, als komme der Nutzer über ihre Suchmaschine auf. Bei Google sieht das beispielsweise in den Logfiles so aus:
crawl-66-249-66-243.googlebot.com - - [07/Feb/2008:13:10:35 +0100] "GET /news/234-neue-msn-suche-online.html HTTP/1.1" 200 8223 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
74.125.16.67 - - [07/Feb/2008:13:34:52 +0100] "GET /news/234-neue-msn-suche-online.html HTTP/1.1" 200 8223 "http://www.google.com/search?q=abc" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.7) Gecko/20060909 Firefox/1.5.0.7"
Zuerst kommt ein normaler Googlebot mit den bekannten Merkmalen, nur wenig später ein Besucher mit einer IP, die zufälligerweise Google gehört und einem Referrer, der darauf hindeuten soll, dass er nach „abc“ gesucht hat. Google vergleicht nun die beiden ausgelieferten Seiten und entscheidet dann, ob hier gecloaked wird oder nicht. Microsoft geht dabei nicht ganz dillentantisch vor und übergibt immerhin Referrer, die noch einen gewissen Bezug zum Thema der Seite haben oder zumindest aus einer Rotation verschiedener Suchanfragen kommen. Bleibt zu hoffen, dass in Zukunft nicht jede Suchmaschine auf die Idee kommt, sowas testen zu müssen und die Serverlogfiles somit komplett unbrauchbar macht.
