Machine
Ben mesajlarınızı defalarca okudum. Niyetim sadece yanlış aktarılan bir karışıklığı düzeltmek. Çok fazla hata yapılıyor bu konuda. Google'ın resmi sitesindeki döküman aynen şöyle söylüyor:
'' robots.txt dosyasını, web sayfalarınızı Google Arama sonuçlarından gizlemenizi sağlayan bir araç olarak kullanmamalısınız. ''
Bahsettiğim NOINDEX HTTP Header etiketi, PDF dosyalarına bile eklenebilir. Sadece konulara eklenir diye bir kural yok.
.htaccess ile yönlendirme yaparsanız bu sefer eklenti dosyalarının çalışmasında problem olacaktır. Ayrıca robots.txt üzerinde asla Disallow: /wp-includes yönergesi eklenmemelidir. Google tüm css ve js dosyalarına erişebilmelidir.
Bahsettiğiniz Disallow: /wp-content/plugins/ yönergesi için de aynı durum geçerli. Google'ın sitenizi eksiksiz bir şekilde incelemesi gerekir. Tamamen penaltı bir durum SEO için.