Oysa ki üye profillerini Robots.txt ile engellemiştim (üye profili URL yapısı: /members/ÜYEADI.ÜYENUMARASI/ şeklinde).
Robots.txt'de ise şöyle engellemiştim:
Disallow: /members
Neden böyle erişim uyarısı veriyordur acaba?
Bir de Robots.txt dosyamın adının ilk harfini büyük yada küçük yapmam bir şeyi değiştirir mi? Çünkü tarayıcıdan Robots.txt olarak girince açılıyor, robots.txt olarak girince 404 hatası veriyor.