Bei einem Blick auf die Logfiles eines FTP-Server ist mir aufgefallen, dass der Googlebot (neuerdings?) auch Interesse an FTP-Servern zeigt und sich anmeldet:
Mar 26 06:54:40 pure-ftpd: (?@crawl-66-249-65-35.googlebot.com) [INFO] Neue Verbindung von crawl-66-249-65-35.googlebot.com.
Mar 26 06:54:40 pure-ftpd: (?@crawl-66-249-65-35.googlebot.com) [INFO] Anonymer Benutzer angemeldet.
Mar 26 06:54:41 pure-ftpd: (ftp@crawl-66-249-65-35.googlebot.com) [INFO] Logout.
In einigen Fällen hat Google sogar Dateien runtergeladen:
Mar 26 19:15:02 pure-ftpd: (ftp@crawl-66-249-65-35.googlebot.com) [NOTICE] /home/ftp/xxx/xxx.html heruntergeladen. (5828 bytes, 400.05KB/sec)
Ist das schon länger so und mir nur nie aufgefallen? Und werden die Daten in den Index eingespielt?
