Sitemi 1 ay önce açtım. Arama ve etiket sayfaların google bota kapattım. Robots'ta disallow olarak belirtildi. Ardından search consoleden takip ettiğimde şu uyarıyı verdi.
"Sayfalar Robots.txt tarafından engellense bile dizine eklendi" :D:D
Birincisi site yöneticisi olarak ben bir sayfayı bota kapattığımı belirtmişsem meraklı melahat gibi o sayfalara bakmayacaksın. Tamam google veriye aç ama bu kadarda olmaz. Biraz araştırdım google çalışanlarının birinin yorumuna göre sayfaların başınada noindex koymam söylendi. noindex yetmedi noarchiveyide ekledim. Hala daha o sayfalarda bi b*k varmış gibi taramaya çalışıyor. Bütün engellemelere rahmen. Sitede yapmadığım ayar kalmadı. Onların keyfine göre bir şeyler yapmaya çalışıyoruz fakat sitede sürekli değişiklik yapmak beni rahatsız ediyor. Öyle dene olmadı böyle dene olmadı. Kardeşim standardın ne senin? Ben senin kuralına göre bir şeyi yapma diyorsam senin programladığın botlar neden hala bunları aşıyor? Her geçen gün bir şeyleri değiştiriyor. Değiştirme geliştir. Koskoca google bot programlamayı mı bilmiyor yoksa? Tüm servislerinizde belirttiğiniz "insanlara kolaylık sağlamak için çalışıyoruz" cümlesi tamamen bir saçmalık.