Merhaba,

Robots.txt arama motoru robotlarına komut vermek için kullanılır. Örneğin Wordpress bir blogunuz var ve etiket sayfalarının indexlenmesini istemiyorsanız, bunu robots.txt ile basit bir şekilde sağlayabilirsiniz. Sadece indexleri engellemek için değil, dediğim gibi arama motorlaru robotlarına komut vermek, yol göstermek için kullanılır.

Örnek vermek gerekirse http://www.sercansanal.com/robots.txt adresinde ben sitemin bazı klasörlerini ve feedlerini indexlemeye kapattım, aynı zamanda sitemap dosyamın yolunu belirterek, yol gösterdim.

Siz de kendi robots.txt dosyanızı inceleyerek, gerekli işlemleri yapabilirsiniz, doğru komutlar verdiğinize emin olmanız dileğimle...