Robot.txt dosyaları google'ın sitenizi incelemesine yardımcı olan kodlardan ibarettir bence biraz araştırma yapın konuyla ilgili bir hatanızla google sitenizi yok sayabilir.