Web sitenizin FTP bölmünde site dosyalarınızın olduğu ana dizinde robots.txt dosyası var mı kontrol edin yoksa yeni bir tane oluşturun ismi robots.txt olacak ve içerisine aşağıdaki kodları ekleyin.

Aşağıda /tag/ yazan yer engelleme vazifesi görür, örneğin bu kod ile

www.site.com/tag/ dizinindeki herşeyin index alması engellenir.

mesela

site.com/tag/deneme-falan filan
site.com/tag/konu.html


gibi. Yani başınıza dert olan alanları engellemek için /engellenecekdizin/ şeklinde kullanmalısınız.

tek bir sayfa engellemek için ise /engel-sayfa.html şeklinde kullanmalısınız isterseniz birden fazla bölümü şu şekilde engellersiniz.

User-agent: *

Disallow: /engel-1/
Disallow: /engel-2/
Disallow: /engel-3/
Disallow: /enelle.html
Disallow: /engel.php

gibi gibi.



User-agent: *

Disallow: /tag/