TecnoLobi "robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı'nı kullanır." Google'ın açıklaması yeterince net bir açıklama 10 saniyelik arama ile çıkıyor :)

Ek Olarak: Sen orda mesela disallow wp-admin diyorsun, bot orayı indexleyemiyor. Disallow olmayan her yeri indexleyip google gibi arama motorlarına çıkarıyor, o olmasa insanlar senin login ekranını google aramada görebilir(profesyonelce bir hamle değildir)