Merhaba arkadaşlar, incir a.ş nin alt yapısını kullandığım bir e-ticaret sitem var, web yöneticisi araçlarında kayıtlı olan robots.txt dosyası aşağıda ki gibidir.

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /
Crawl-Delay: 2

User-agent: Yandex
Allow: /
Crawl-Delay: 2


User-agent: Browsershots
Allow: /


User-agent: Googlebot
Disallow: /images/thumbnails/
Disallow: /skins/
Disallow: /payments/
Disallow: /store_closed.html
Disallow: /core/
Disallow: /lib/
Disallow: /install/
Disallow: /js/
Disallow: /schemas/
Disallow: /stores/
Disallow: /addons/
Disallow: /var/
Disallow: /xml/
Disallow: /shippings/
Disallow: /stores/
Disallow: /controllers/

aslında ben bu robots.txt işinden fazla bir şey anlayamadığım için sizlerden yardım istiyorum.. Sanırım bu robots.txt dosyası siteye gelen google botlarının site içeriğinin indexlenmesiyle alakalı bir dosya, fakat yukarıda verdiğim kodlarda kendi edindiğim bilgilere göre (tamda emin değilim) bir terslik olduğunu düşünüyorum. Konuyla alakalı bilgiye sahip olan arkadaşların, yukarıdaki kodların ne anlama geldiğini yazarlarsa sevinirim.

site adı: http://www.hadisendeal.com
15 günlük site ve google indexi 5 gün önce 960 oldu ve 4 gündür 300 de