User-agent: *
Allow: /
Ayrıca buradan robots.txt'nin kullanımı hakkında bilgi alabilirsin:
http://sanaldosya.org/topic/549-robotstxt-ne-%C4%B0%C5%9Fe-yarar-robotstxt-nas%C4%B1l-kullan%C4%B1l%C4%B1r/
Ek Olarak:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
şunu koyda bir işe yarasın private denilen kısma admin paneli yolunu yazabilirsin ya da images yerine google da aranınca görülmesini istemediğin bir klasör yolunu.
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
şunu koyda bir işe yarasın private denilen kısma admin paneli yolunu yazabilirsin ya da images yerine google da aranınca görülmesini istemediğin bir klasör yolunu.
robots.txt dosyanıza admin panelin yolunu yazarak saldırganlara admin panelin yolunu vermiş olursunuz. Bunun yerine admin panelin index dosyasında meta ile noindex yapmanız daha doğru olacaktır!
Noindex kullanımı için:
http://sanaldosya.org/topic/175-dofollow-ve-nofollow-link-nedir/