Enes
Eski adi: TeknoRio
Kullanıcı
-
Üyelik
11.10.2013
-
Yaş/Cinsiyet
34 / E
-
Meslek
Öğrenci
-
Konum
Çorum
-
Ad Soyad
E** Y**
-
Mesajlar
176
-
Beğeniler
60 / 18
-
Ticaret
20, (%100)
Merhaba,
bir kaç yerde robots.txt konusu gördüm ancak ben sitemdekini hiç engellemedim bunun yararı nedir? ve en sağlam robots.txt nedir?
enesyarali.com
rbx
Sms Onayı Gerekli
Banlı Kullanıcı
-
Üyelik
03.08.2013
-
Yaş/Cinsiyet
38 / E
-
Meslek
Yazılım Mühendisi
-
Konum
İstanbul Avrupa
-
Ad Soyad
** **
-
Mesajlar
709
-
Beğeniler
24 / 190
-
Ticaret
19, (%100)
Bu dosya arama motorlarından gelen botların, sitenizin hangi dizinini gezip, hangi dizinini arama motoruna ekleyeceğini belirler.
Örn;
User-agent: *
Allow: /
şeklindeki bir robots.txt dosyası, sitenizdeki tüm alanları, dosyaları, içerikleri gezer ve kayıt altına alır.
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow özelliğini kullandığınız klasörler veya içerikler ise botlar tarafından önemsenmezler ve kayıt altına alınmazlar, indekslenmezler.
Edit // robots.txt sadece Wordpress'e özel değildir. Her web sayfası bunu kullanabilir, kullanmak durumundadır.
-
Üyelik
14.11.2013
-
Yaş/Cinsiyet
34 / E
-
Meslek
yok
-
Konum
İstanbul Avrupa
-
Ad Soyad
E** T**
-
Mesajlar
524
-
Beğeniler
24 / 52
-
Ticaret
2, (%50)
wp eklentisi hocam :D google,yandex,yahoo gibi arama motorları sitenize girdiğinde ilk olarak robots.txt ye bakar orda hangilerini indexliyexeğine bakar işte
siz oraya
User-agent: *
Disallow:
/wp-admin
/wp-login
/wp-includes
/wp-content
bu yani admin login inc ve contect leri indexlemiyecek gerisi indexliyecek