Robots.txt dizinlerin veya tüm sitenin indexlenmesiyle ilgili sanırım.
O dosya sayesinde farklı arama motorlarına farklı yetkiler de verilebiliyor.
Benim derdim başka.

Ek Olarak: Arkadaşlar konu günceldir. Hala. :)

Sorun devam ediyor.