Smyrna35 adlı üyeden alıntı

Merhaba,
Google sadece sitemap te var olan dosyaları indekselemiyor sitede index, follow olan bütün her yeri indekslemektedir.
Bunun bir zararı değil yararı olur ancak gereksiz sayfaları noindex, nofollow yada robots txt den disallow link olarak eklemen gerekiyor.


robots.txt'de engelli olan sayfalar mevcut. Gereksizleri oraya ekledim. Bu kadar fazla olmasının sebebi büyük ihtimalle etiketler, ancak tek yazıya çıkan 2-3 farklı etiket olabiliyor. Bu spam gibi bir tehlike yaratır mı ?