Robots.txt dosyasında Allow kullanmanın bir önemi yok aslında
Çünkü Allow göster, izin ver felan demek.
Disallow ise engellemek, izin vermemek demek.
Bu sebeple, dizine eklenmemesi gereken yolları disallow yapmamız yeterli.

Her wordpress kullanıcısının bunu dosyasına eklemesi zararlı değildir.
Sadece istemediği yolları aşağıdaki gibi disallow ile belirtebilir.
Robotx.txt dosyasını bu şekilde değiştirmemiz yeterli olacaktır.

User-agent: *
Disallow: /wp-content/cache
Disallow: /wp-content/plugins/
Disallow: /wp-includes/js

Sitemap: http://siteismi.com/sitemap_index.xml

Eğer yukarıda Disallow: /wp-content/cache değilde,
Disallow: /wp-content/ yapmış olsaydım. Tüm wp-content içeriğini engellemiş olurdum.
Bu yüzden tam yol gösterdim /cache/ klasörünü hedef aldım.
Diğer bir yandan wp-content klasörü içerisindeki /cache/ klasörü dışındakilere izin vermiş oldum.

Değişikliklerin google tarafından güncellenmesi, search konsoldaki hataların giderilmesi aşağı yukarı 3-4 günü bulabiliyor.