Nach Google hat jetzt auch MSN eine Methode implementiert, um die Echtheit der MSN-Bots zu bestätigen. Grund hierfür ist vermutlich, dass mittlerweile eine Vielzahl der Scraperbots die Useragents der großen Suchmaschinen nutzen, um nicht aufzufallen. Die Überprüfung läuft, wie bei Google, über DNS- und Reverse-DNS-Auflösung. So ist dies zum Beispiel eine typischer Zugriff des MSN-Bots
64.4.8.131 - - [30/Nov/2006:07:19:03 +0100] "GET /robots.txt HTTP/1.0" 200 76 "-" "msnbot/1.0 (+http://search.msn.com/msnbot.htm)"
Die Auflösung der IP ergibt nun
hades:~# host 64.4.8.131
Name: livebot-64-4-8-131.search.live.com
Address: 64.4.8.131
Nun noch prüfen, ob der Host auch auf die IP zeigt, und die Echtheit ist bestätigt:
hades:~# host livebot-64-4-8-131.search.live.com
livebot-64-4-8-131.search.live.com A 64.4.8.131
Passt also und die Echtheit für diesen Zugriff ist gegeben.
Das System basiert, wie bei Google auf der Tatsache, dass den Reverse-DNS-Eintrag zwar jeder so setzen kann, wie er mag – auf die Zonefiles, die von Host zu IP auflösen aber nur der Inhaber der Domain Zugriff hat.
Wem die Überprüfung von Hand zu lange dauert, der kann dieses schnell geschriebene Tool nutzen: Echtheit eines Botzugriff überprüfen. Bitte jedoch beachten, dass bei Microsoft noch nicht alle Reverse-Einträge gesetzt sind und es deswegen am Anfang noch zu Fehlalarmen kommen kann.
