Ana dizinde robots.txt adında bir dosya oluşturun.

Örnek kullanım:
User-Agent: *

Disallow: /dizin/wp-login.php
Yukarıda "dizin" yazan kısmı kendi sisteminize göre düzenlersiniz. Böylece botlara bu dosyayı taramamasını belirtmiş olursunuz. 404 hatalarından kurtulursunuz.
Google webmaster tools'tan da robots.txt dosyanızı yollayabilirsiniz. Hem test etmiş olursunuz.