Robots.txt kodu
User-agent: *
Disallow: /
Bu kod hiçbir arama motorunun sitenizin hiçbir yerini indexlemeyeceği anlamına gelir.
User-agent: Google
Disallow: /
User-agent: *
Disallow:Şeklinde yaparsanız google hariç bu tüm arama motorlarının sitenizi indexleyebileceği anlamına gelir. Ayrıntılı bilgi ve kodları robotstxt.org adresinden alabilirsin.