Kalkması lazım ama ben işimi hep url kaldırdan yapıyorum hiç robots.txt'den yapmadım.
Peki hocam şimdi wmaraci.com/h dosyasi örnek olarak vermistim bunu url kismina yazdiktan sonra hangisini seçecegim ?
Sayfayi arama sonuçlarindan kaldir ve önbellekten kaldır.
Önbellekten kaldır.
Dizini kaldır
hangisini yaparsam tamamen o klasör kalkmis olur