.htacces dosyası ile yapabilirsin. Araştır nette var.

Ekleme: robots.txt dosyasınadan da olur. Gelmesini istemediklerine disallow yapman gerek