Örnek kullanım:
User-Agent: *
Disallow: /dizin/wp-login.php
Yukarıda "dizin" yazan kısmı kendi sisteminize göre düzenlersiniz. Böylece botlara bu dosyayı taramamasını belirtmiş olursunuz. 404 hatalarından kurtulursunuz.
Google webmaster tools'tan da robots.txt dosyanızı yollayabilirsiniz. Hem test etmiş olursunuz.