dizine bir robots.txt atarsın ve tüm içeriği engellemek için

Disallow: /


ya da sadece bir dizini engellemek için

Disallow: /ornekdizin/

buradaki linki inceleyebilirsin.