User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.blogisminiz.com/sitemap.xml
Aklınıza yatması açısından kodları açıklamak istiyorum:
User-agent: Mediapartners-Google:Bu kod google adsense kullanıcıları için.eğer sitenizde adsense kullanmıyorsanız kodu eklemeyebilirsiniz.
User-agent:* : Bu kod google,yahoo gibi tüm arama motorlarını sitenize çağırıyor.
Disallow: Bu kod arama motorlarına ilgili kısmı indexlememesini söylüyor.Bu kodla başlayan ilk satırda arama sonuçlarını ve sonraki satırda da etiket ve navigasyon sayfalarını indexlememesini belirttik
Allow:Anasayfayı ve yazı sayfalarını indexlemesine izin verdik.
Sitemap:Bu da biizm standart olarak sahip olduğumu sitemap.Burada kısma siz kendi blogunuzun adını yazacaksınız
Umarım yeteri kadar açık yazmışımdır güle güle kullanın :D
