User-agent: *
Disallow: /k/
bu kod kategori ve içindekileri engeller de ama sitemap varsa direk haber linklerini indeksler, verdiğim öbür kod var ya onu kullanırsanız iki taraflı engelleme yapar hem haber ile başlayan hem kategori ve içindekileri.
Siz haber- ile başlayanların da mı indekslenmesini istemiyormusunuz? yoksa sadece o 5 kategorideki haber- ile başlayanlar?
Şu şekilde açıklayayım ben durumu;
İnternet sitesinde 5 tane kategori var, tüm kategorilerdeki tüm içerikler özgün olarak giriliyor. Gelen basın bültenlerini de bir kategori içerisinde toplamaya başlıyoruz, bu da altıncı kategori oluyor. Bu kategorinin Google'da içerikleri ile beraber hiç indekslenmesini istemiyoruz. Yani sizin verdiğiniz her iki kod da malesef işimizi görmüyor :/