Robot.txt dosyaları google'ın sitenizi incelemesine yardımcı olan kodlardan ibarettir bence biraz araştırma yapın konuyla ilgili bir hatanızla google sitenizi yok sayabilir.
Bir bilginiz var ise söyleyin lütfen şimdi araştırma falan uzun iş :)
Bunu eklememde fayda var mı yok mu ? :D