robots.txt dosyası illa bir cms sisteme bağlı bir durum değil arama motorları için indexlenece ve indexlenmeyecek sayfaları belirlemen için arama motorlarına yol göstermek amacı için için oluşturulur ve google buna önem verir.

bir robots.txt dosyası oluşturmak için not defterini açıp

User-agent: Google Botu’nun adı gelecek
Disallow: Botun izinlerini gireceğimiz komutlar yer alacak

Örnek 1:
User-agent: *
Disallow
Örnek 2:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

kendine göre düzenleyip robots.txt adında kaydedip ftp nin kök dizinine atman yeterli olacaktır.