http://facebook.com/robots.txt
http://w3schools.com/robots.txt

Sanırım bu iki link ile robots.txt için yaptıgım ve arkadaşların yaptığı açıklamaları onaylayabiliriz. Rahatça kullanabilirsiniz.