Robots.txt ye yazmaz. No indexi meta etiket olarak sayfa kaynağına ekler. Psycho arkadaşımız daha detaylı yazmış üst mesajda.