turkedition adlı üyeden alıntı

Şöyle yap:

User-agent: *
Allow: /

Ayrıca buradan robots.txt'nin kullanımı hakkında bilgi alabilirsin:

http://sanaldosya.org/topic/549-robotstxt-ne-%C4%B0%C5%9Fe-yarar-robotstxt-nas%C4%B1l-kullan%C4%B1l%C4%B1r/

Ek Olarak:

robots.txt dosyanıza admin panelin yolunu yazarak saldırganlara admin panelin yolunu vermiş olursunuz. Bunun yerine admin panelin index dosyasında meta ile noindex yapmanız daha doğru olacaktır!

Noindex kullanımı için:

http://sanaldosya.org/topic/175-dofollow-ve-nofollow-link-nedir/