Arama motorlarının sitenizi sağlıklı bir şekilde gezebilmesi yani tarayıp indekslayabilmesi için siteniz için bir robots.txt dosyası oluşturmalısınız. Bunu yapmamızdaki amaç kısaca sitemize ziyarete gelen arama motorlarını doğru yönlendirmektir. Yani arama motorlarının sitemizdeki indeksleyebileceği ve indeksleyemeyeceği dizinleri biz belirleriz. Örneğin bir arama motoru örümceğinin bizim admin klasörüne girmesine gerek yoktu. Bu nedenle biz de hazırlayacağımız robots.txt dosyasıyla arama motorları örümceklerinin bu klasöre girmesini engelleriz.

Robots.txt Nasıl Oluşturulur?

Öncelikle boş bir notpad dosyası açın ve içine aşağıdaki kodları yapıştırın (Uyarı: Bu kodlar wordpress sitesi için hazırlanmıştır). Sonra bu dosyayı kayıt edip sitenizin ana dizinine atın ve son olarak da ismini robots.txt şeklinde değiştirin. İşlem bu kadar.

User-agent: *
Disallow:
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/