profdizayn Örnek olarak bunu gördüm
http://mybbdepo.com/robots.txt ( sende bakarak karşılaştırabilirsin fikir alış verişi yaparız bendemi yapsam acep :) )