Über Google Sitemaps stellt Google jetzt ein Tool zur Überprüfung der eigenen robots.txt bereit. Das Tool zeigt einem nach Auslesen der Datei die erlaubten sowie verbotenen Verzeichnisse an.
Über Google Sitemaps stellt Google jetzt ein Tool zur Überprüfung der eigenen robots.txt bereit. Das Tool zeigt einem nach Auslesen der Datei die erlaubten sowie verbotenen Verzeichnisse an.