Şimdi bildiğimiz gibi robot.txt dosyaları indexleme açısından önemli. Ben Google üzerinden domain ve blog sahibiyim. webmaster aracından incelediğim kadarıyla Google, sanırım sadece kendi robotuna indexleme izni vermiş.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://xxx.xxx/sitemap.xml
Gördüğünüz gibi. Ben de bu dosyayı blogger üzerinden özel robot.txt dosyası oluşturma yöntemiyle tekrardan oluşturup
User-agent: *
Disallow:
Bunu ekledim. Şimdi korkum, robotların siteyi kontrol edememesi. Yapmak istediğim sadece bütün robotlara siteyi açmaktı. Bir hata var mıdır düzenlemede? Ek olarak robotların bazı içerikleri engellediğini gördüm. Yani 500 izin veriyorsa 1000 izin vermiyor.
Bu durumun sebebi nedir?