İlgili sayfayi kapatsak derken ziyaretciye kapatmak değil robot.txt uzerinden taramalara kapamayı kastetmiştim aslında.
Google botları (sanırım 2019 Nisan-Mayıs) artık sitelerdeki her sayfayı tarıyor neredeyse. Böyle bir makale vardı. Araştırırsanız bulacaksınız.
Bu konu forumda "image klasörümün taranmasını istemiyorum" şeklinde bir konuda geçti, forumda bir arama yapıp oradan genel durum hakkında bilgiye ulaşabilirsiniz sanırım.
İlgili sayfa kapatılabilir gibi geliyor yine de...