Arkadaşlar robotların index almasını engellemek istediğim bazı bölümler var. Robots ile Oradan birkaç dizini engellemek istiyorum ama aklıma takıldı:
Örneğin.
Disallow: /arabalar/javascript/
Disallow: /arabalar/megamenu/
Disallow: /arabalar/sliders/
Yukarıdaki ana klasör arabalar içindeki 2-3 klasörü engelle diyince ana klasöre bir engelleme olur mu? Neticede Diallow komutu ardından iki klasörüde yazıyorum, bundan biraz kıllandım açıkçası. Arabalar klasörü için 4-5 farklı html ile oluşturulmuş galeriler var ve o galerilerin gereksiz olan at dosyaları index almasın.