Hocam bunlarin yaninda arama motorları için bir kural göremedim ben. Yani o botları geri çevirir ama arama motorunda görünmesi için bir kural eklenmemiş. Sunu eklemeyi deneyin:

User-agent:*
Allow: /