Şayet herhangi bir engelleme işleminiz yoksa robots.txt dosyası kullanmayınız.

Ayrıca şunu unutmayınız ki, hacker abilerin site içerisindeki dizinleri öğrenmek adına ilk baktıkları yer robots.txt dosyasıdır. Engellenen içerik, gizli kalınması istenen içeriktir ;)