Evet arkadaşımın da söylediği gibi robot.txt dosyaları işine yarayabilir internette bolca ayrıntılı bilgi mevcut kullanmadan önce sıkı araştırmanı ve öğrenmeni tavsiye ederim aksi halde arama motorlarından yok sayabilirsin siteni.