User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.xxx.com/sitemap.xml
seo araştırırıken bu kodları gördüm fakat bişey dikkatimi çekti
Disallow: Bu kod arama motorlarına ilgili kısmı indexlememesini söylüyor.Bu kodla başlayan ilk satırda arama sonuçlarını ve sonraki satırda da etiket ve navigasyon sayfalarını indexlememesini belirttik.
yazıyor.
İndexlememe dediği iyimi kötümü tam anlamadım ekliyimmi siteme kodları?