Wie man in den Bildern unten sehen kann: die Google Webmaster-Tools zeigen an dass ich per robots.txt bestimmte Pfade von der Indizierung ausgenommen habe. Das hält den Googlebot aber nicht vom Besuch genau dieser Seiten ab, denn wie man im zweiten Bild sieht tauchen die von der Indizierung ausgenommenen URLs auch in den Suchergebnissen auf!
Habe irgendwo gelesen dass der Googlebot gerne direkt über User-agent: Googlebot statt User-agent: * angesprochen wird, aber wenn die gesperrten URLs als gesperrt in den Webmaster-Tools auftauchen erwarte ich einfach dass sie nicht in den Suchergebnissen gelistet werden!
