FTP'ye giriş yapın, ana dizinde robots.txt dosyasını düzenleyin. Örnek robots.txt'leri google üzerinden bulabilir, kendinize ait oluşturabilirsiniz.

Robots.txt, siteyi indexleme amaçlı giren botların yetkisini belirleyen bir dosyadır, istediğiniz dizine girmelerini engelleyeceğiniz gibi, görmesini özellikle istediğiniz yeni dizinler ekleyebilirsiniz.