@chemistrap dediğini de deneyebilirsiniz, aynen dediği gibi robot.txt dosyanızın hiç hali hazır yapısını bozmadan o fazlalıkları çıkartsanız da olur