Kullandığınız kodlamaya göre uygun robots.txt örnekleri mevcut. Arama yaparsanız bir çok çözüm örneği bulabilirsiniz.

Yine de yardım almak istiyorum derseniz, sitenizin hangi alt yapı ve kodlamayı (html, php, aspx) kullandığını belirttiğinizde arkadaşlar yardımcı olacaktır.