Johannes Beus
(Autor)
03.01.2007
Beim Durchsehen von Logfiles ist mir heute aufgefallen, dass Google – wie Yahoo schon seit einiger Zeit – offenbar absichtlich 404-Fehler produziert um somit den Inhalt der 404-Fehlerseite zu erhalten. Ziel ist es vermutlich, Seiten bei denen für Fehlerseiten der Standardheader 200 gesendet wird zu entdecken und entsprechend zu behandeln. In den Logs sieht das dann so aus:
66.249.65.145 - - [01/Jan/2007:15:09:36 +0100] "GET /mppwafdgqpulx.html HTTP/1.1" 404 216 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Die Zugriffe erfolgen immer auf Zufallsdateien im Rootverzeichnis und bestehen aus einigen Kleinbuchstaben sowie der Dateiendung .html
