robots.txt dosyasının tek amacı arama botlarını websitenin hangi alanlarını indexlememesi gerektiğini belirtmektir. Robots.txt siteni hızlı indekslemeye veya üst sıraya çıkmana falan yaramaz.

Doğru klasörleri disallow komutu ile belirtmezsen botlar tüm içeriğini indexleme izni olduğunu görür. Zararlı olabilecek yanı; örneğin gidip "disallow: /images" yazarsan bu klasöründeki resimlerin arama motorlarında gözükmesini engellemiş olursun.

Elbette robots.txt koydun diye Google ve diğer tüm arama motorları izin verdiğin tüm sayfaları indexleyip gösterecek diye birşey yok aynı şey robots.txt koymadığında da geçerli. Sonuç olarak eklenti, üyelik bilgileri özel sayfalar vs. gibi belli klasör veya sayfaların indekslenmemesini istiyorsan kullanman gerekir.