bu dosya google botları için klavuz görevi görür. google botları sitenizi ziyaret ettiğinde bu robots.txt dosyasının içerisinde bir takım kodlar görecektir. bu robots.txt hangi sayfaların indexlenip hangi sayfaların indexlenmeyeceğni belirttiğiniz bir dosyadır.
siz sayfanızda indexlenmesini istemediğiniz alanlar yoksa ve ftp üzerinde bahsetmiş olduğumuz robots.txt dosyası varsa silebilirsiniz veya
User-agent: *
Allow: /
bu kod dizinini ekleyerek bütün siteyi indexlemesine izin vermiş olursunuz.