Bu dosya arama motorlarından gelen botların, sitenizin hangi dizinini gezip, hangi dizinini arama motoruna ekleyeceğini belirler.
Örn;
şeklindeki bir robots.txt dosyası, sitenizdeki tüm alanları, dosyaları, içerikleri gezer ve kayıt altına alır.
Disallow özelliğini kullandığınız klasörler veya içerikler ise botlar tarafından önemsenmezler ve kayıt altına alınmazlar, indekslenmezler.
Edit // robots.txt sadece Wordpress'e özel değildir. Her web sayfası bunu kullanabilir, kullanmak durumundadır.
Örn;
şeklindeki bir robots.txt dosyası, sitenizdeki tüm alanları, dosyaları, içerikleri gezer ve kayıt altına alır.
Disallow özelliğini kullandığınız klasörler veya içerikler ise botlar tarafından önemsenmezler ve kayıt altına alınmazlar, indekslenmezler.
Edit // robots.txt sadece Wordpress'e özel değildir. Her web sayfası bunu kullanabilir, kullanmak durumundadır.
wp eklentisi hocam :D google,yandex,yahoo gibi arama motorları sitenize girdiğinde ilk olarak robots.txt ye bakar orda hangilerini indexliyexeğine bakar işte
siz oraya
User-agent: *
Disallow:
/wp-admin
/wp-login
/wp-includes
/wp-content
bu yani admin login inc ve contect leri indexlemiyecek gerisi indexliyecek
siz oraya
User-agent: *
Disallow:
/wp-admin
/wp-login
/wp-includes
/wp-content
bu yani admin login inc ve contect leri indexlemiyecek gerisi indexliyecek
Çok teşekkür ederim @tomysawyer seninkini kullanacağım.