Google robots.txt dosyasiyla ilgili bir soru.

Arkadaslar Googleye sitemin ana sayfasini indexlememesini nasil soylerim? dusundum ama tam olarak aklima iyi bir fikir gelmedi.
Ana sayfa disinda herseyi indexleyecek ana sayfayi indexlememesini istememin sebebi icerdeki haberlerin ozetleri ana sayfada olucak, ayni icerigi iki farkli url'de gorunce kopya icerik der diye korkuyom :)

vBulletin forum kurulu ve haberler bolumu var ordaki haberleri rss feedle sitenin ana sayfasina cagircam yani istedigim
googlenin sadece forum bolumundeki haberleri indexlemesi.

Umarim dogru sekilde anlatmisimdir

aynı içeriği iki farklı URL'de görme sıkıntısı özetle şöyle;

www.siteadi.com/123/ABC.html
ile
www.siteadi.com/123/XYZ.html

sayfalarındaki başlıktan etiketlere resimlerle beraber tüm içeriğin aynı olması durumunda sıkıntı yaşanacaktır. Konuyla alakalı "canonical url" etiketini araştırabilirsin.

Tavsiyem robots.txt dosyanda kesinlikle ansayfayı engelleme, sen zaten özgün içerik giriyorsan kopya kourkusu yaşamana gerek kalmaz.

soyledigini arastiricam :)