robots.txt'nin sağlıklısını da ilk defa duydum.

robots.txt dosyası web'i tarayan arama motoru robotlarının sitenize erişimini kısıtlar. Bu botlar otomatiktir ve bir sitenin sayfalarına erişmeden önce, belirli sayfalara erişmelerini önleyen bir robots.txt dosyası olup olmadığını kontrol ederler.
https://support.google.com/webmasters/answer/156449?hl=tr