retrospektif adlı üyeden alıntı
Ben Wordpress'in oluşturduğunu düşünmüştüm.Peki blog dizininize mi yoksa ana dizine mi atmalıyım?
yani; [COLOR=Red]domain.com[/COLOR]/[COLOR=Blue]blog[/COLOR]
kırmızı mı, mavi mi?
:)
Teşekkürler..
Yukarıdaki Wordpress için uygun bir robots.txt, o yüzden Wordpress dizinine atman yerinde olur. (sitemap bölümünü site.com/blog/sitemap.xml olarak değiştirmeyi unutma) Ana dizine de o bölümde kullandığın scripte uygun bir robots.txt koyabilirsin. Eğer script yok sadece html yada php sayfalar varsa
User-agent: *
Allow: /
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /