Blogger İçin En İyi Robots.txt Nasıl Olmalı?

KLavy3 adlı üyeden alıntı

Sanırım internette adını sıkca duymuşsunuzdur.Robots.txt dosyası blogger ın önceden düzenlenmesine izin vermediği fakat son dönemde yaptığı değişiklikle kullanıcıların dosyayı düzenlemesine imkan veren ve blogumuzun arama motorları için daha kullanışlı olmasını sağlayan text dosyasıdır.Bu dosya tüm web siteleri için mevcuttur.Yeni arayüzle birlikte artık biz blogger kullanıcıları da bu dosyayı düzenleyebilecek durumundayız.Dosyayı nasıl düzenleriz konusuna geçmeden once Robots.txt dosyası hakkında daha açıklayıcı olması için bazı noktaları paylaşmak istiyorum:
robottxt
Robots.Txt Dosyası Nedir

Kısaca bu dosya web sitesi sahiplerinin arama motorlarına sitesini indexle ya da indexleme dediği basit text dosyasıdır.Sadece arama motorları için yazılan bu kodla sitenizin sayfalarının indexlenme durumunu belirtebilirsiniz.Aklınıza hemen şu soru gelebilir.Sitemin neden indexlenmemesini isteyeyim ki?Evet sitemizin bazı kısımlarını indexlememek seo açısından önemli.Çünkü aynı içeriğin iki kere indexlenmesi size “duplicate content” durumuna düşürerek zarar görmenize neden olabilir.Bu yüzden arama sayfalarındaki yazılarınızın ve etiket,navigasyon gibi sayfalardaki yazılarınızın tekrar indexlenmemesi gerekir.Bu açıklamayı yaptıktan sonra eğer robots.txt dosyasını düzenlemeye karar verdiyseniz nasıl gerçekleştirebiliriz ona bakalım.
Robots.Txt Dosyası Nasıl Düzenlenir

Aşağıda kendi blogumda kullandığım robots.txt dosyasını sizlerle paylaşıyorum.Burada yer alan kodlar yukarıdaki anlatımıma paralel olarak oluşturulmuş standart kodlardır.
Bu kodları eklemek için :
Blogger anasayfasına giderek giriş yapın
Ayarlar >> Arama Tercihleri yolunu izleyin.
Sayfanın alt kısmında özel robots.txt dosyasını göreceksiniz.Eğer daha önce hiç bir işlem yapmadıysanız şu anda etkin değildir.Düzenle diyerek içeriği etkinleştirin ve aşağıdaki satırı kopyalayıp yapıştırın.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?q=*
Disallow: /*?updated-max=*
Allow: /
Sitemap: http://www.blogisminiz.com/feeds/posts/default?orderby=updated

blogger-robotstxt
Değişiklikleri kaydet butonuna basın.
Aklınıza yatması açısından kodları açıklamak istiyorum:
User-agent: Mediapartners-Google:Bu kod google adsense kullanıcıları için.eğer sitenizde adsense kullanmıyorsanız kodu eklemeyebilirsiniz.
User-agent:* : Bu kod google,yahoo gibi tüm arama motorlarını sitenize çağırıyor.
Disallow: Bu kod arama motorlarına ilgili kısmı indexlememesini söylüyor.Bu kodla başlayan ilk satırda arama sonuçlarını ve sonraki satırda da etiket ve navigasyon sayfalarını indexlememesini belirttik
Allow:Anasayfayı ve yazı sayfalarını indexlemesine izin verdik.
Sitemap:Bu da biizm standart olarak sahip olduğumu sitemap.Burada kırmızı renkli kısma siz kendi blogunuzun adını yazacaksınız
>>Blogger da Sitemap Nasıl Oluşturulur
Son Sözler
Robots.txt dosyası blogunuzun temelini oluşturan ana öğelerden biridir.Bu yüzden bu kısmı düzenlerken dikkatli olun.Yalnız yukarıdaki kodlar temel ve çoğu blogger ın kullandığı kodlardır.Bu yüzden kullanmakta emin olabilirsiniz.Bir dahaki yazımda sitenizi iyileştirmek adına önemli ipuçlarını paylaşmaya devam edeceğim.Yorumlarınız benim için önemlidir.Paylaşırsanız sevinirim…

Alıntıdır : http://www.ehliblog.com/2014/01/blogger-robotstxt-dosya-duzenle.html

stiltasarım adlı üyeden alıntı

Değerli açıklamanız, sorunuma yardımcı olduğunuz için teşekkür ederim.