Blogger'da aşağıdaki bağlantıdan editleniyormuş sanırım robots.txt
(https://support.google.com/blogger/answer/2472627?h)
Kendi robots.txt dosyamdan örnek vereyim.
Disallow denilen yer sitede nerelerin indexlenmesinin yasaklanacağı yerdir. Wordpress kullandığım için wp-admin ve wp-includes bölümlerini yasakladım robota.
Onun dışındaki bütün bölümleri indexler.
Host dediğim şey ise sitenin doğru indexlenmesi için bir ara https:// olarak indexliyordu.
User-agent: * bölümüne bir isim yazmadım gördüğün gibi. Eğer Yandex ya da senin yazdığın gibi Google yazsa idim sadece o arama motorunun robotları için düzenlenmiş bir değer olurdu.
Umarım açıklayıcı olmuştur.
Lütfen yukarıdaki işlemler sonrasında siteni yandex webmaster'a kaydet. Faydasını göreceksin.
(https://support.google.com/blogger/answer/2472627?h)
Kendi robots.txt dosyamdan örnek vereyim.
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Host: http://www.elvankentim.net
Sitemap: http://www.elvankentim.net/sitemap.xml
Disallow denilen yer sitede nerelerin indexlenmesinin yasaklanacağı yerdir. Wordpress kullandığım için wp-admin ve wp-includes bölümlerini yasakladım robota.
Onun dışındaki bütün bölümleri indexler.
Host dediğim şey ise sitenin doğru indexlenmesi için bir ara https:// olarak indexliyordu.
User-agent: * bölümüne bir isim yazmadım gördüğün gibi. Eğer Yandex ya da senin yazdığın gibi Google yazsa idim sadece o arama motorunun robotları için düzenlenmiş bir değer olurdu.
Umarım açıklayıcı olmuştur.
Lütfen yukarıdaki işlemler sonrasında siteni yandex webmaster'a kaydet. Faydasını göreceksin.
Teşekkürler hocam olmuş mu ?
http://www.maxidosya.com/robots.txt