User-agent: *
Disallow: /

içeriğine sahip bir robots.txt dosyası yaratıp, anadizine atarsanız aynı sonuca varmış olursunuz.