[INDENT]Kesin olarak doğrusu budur diyemiyoruz. Her site için farklı robots.txt olur çünkü her sitenin yapısı farklılıklar mevcuttur.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.hizliyazilimogren.com/feeds/posts/default?orderby=UPDATED
Sizin robots.txt yorumlayacak olursam;
- Sadece Mediapartners-Google user-agentı ile gelen botlar tarafından tarafınsın, Googlebot, Google image bot, google mobil bot taramasına ve yandex, bing ve diğer arama motorlarına da kapalı yani bu benim için dezavantajdır.
- Tekrardan user-agent yapılmış ve bu kez hepsine açmışsınız :confused: ilk yaptığınızın bir espirisi kalmadı yani.
- 2. user-agent'a yaptığınız disallow /search ile /search dizini ve alt dizinlerini indexlememesini belirtmişsiniz.
http://tools.seobook.com/robots-txt/generator/
kullanarak basit bir robots.txt ile botları kullanabilirsiniz.
Son olarak;
valla internetten araştırdım herkez böyle yapmış tam dorusu nedir buraya yazabılırmısın yada skype ekledım kabul edermısın
Evet, aslında böyle olması gerekir fakat bunu doğru bir şekilde kullanırsanız hiç bir sıkıntı olacağını sanmıyorum. Doğru kullanmaktan kasıtım sitenizde 10 içerik olduğunu varsayalım ve 10 konuda her birinde 30'ar tane etiket yani toplamda 300 tane etiket olacak, google kullanıcısı "yeni" kelimesi ile bir arama yaptığında sizin etiket aramalarınıza girdiğinde "yeni" ile etiketli olan bütün içerikler gözükecektir. Bu aslında avantaj gibi gözüküyor ama dezavantaj kullanıcı sitenize girecek ve 2 saniye sonra bir daha girmemek üzere çıkacaktır.
Burada google da 310 adet indexim var demekten ibaret.
[/INDENT]