Örnek
User-agent: Googlebot
Disallow: /proje/
Disallow: /mama.php
disallow demek google bot gelmesin demek. Her bot için ayrı ayrı verebilirsin.
örnek olması amacıyla facebookun robotx dosyasını inceleyebilirsin.
https://www.facebook.com/robots.txt?_rdr=p