Epey zaman geçmiş ama en doğrusu
User-Agent: *
yapmanızdır sonuçta botlara kapatmak istediğiniz Disallow linkler mevcut bu yüzden tüm botlara kapatın,indexlemesini istemediğiniz yerleri! ;)