Evet hocam bu durumda google sitenizi indexlemez varsa indexleri bile siler.
Zaten bilindiği gibi google botları ilk olarak varsa eğer robots.txt dosyasına uğrar buradaki yönlendirmelere göre sitenizin klasörlerine erişim sağlar ve indexlemeyi yapar.
Disallow/
Bu komut sitenin ana dosyalarına google botlarınım erişimini ve index almasına engel olur.
Aynı durum bir webmasterdan müşterimin yedeklerini alırken benimde başıma geldi.
Eğer farketmeseydim müşterimin sitesi asla index almayacaktı.
Ek Olarak: yanlız disallow/ kodu yerine göre faydalı yerine göre çok zararlıdır.
Örneğin admin panelinin index almamamı gerekir ve disallow/admin
Oldukça faydalıdır. Fakat
Dsallow/
Ana dizin index almasın demektir ve duruma göre oldukça zaralıdır.