Google örümcekleri hakkında sorun ?

Arkadaşlar merhaba son güncellemelerden bu yana indexlenme sıkıntısı yaşıyordum bir ara düzeldi gibi olsada sorun artarak devam etti, bugün maillerimi kontrol ederken google'dan gelen bir mail gördüm robots.txt ile alakalıydı, sitedeki robots.txt eklenti ile oluşturulmuştu belki birşey olmuştur diye beni sıfırdan oluşturup yeni bir robots.txt attım google webmaster panelinden denemelerime rağmen robots.txt dosyasını görmüyor, hosting firmasıyla görüştüm sunucuyla alakalı bir sorun olmadığını söyledi.

Sorunu daha önce yaşamış tecrübesi olan arkadaşlar konuya dahil olursa sevinirim, çok büyük bir sorun.

robot.txt de yanlış bişey olmadığına eminmisiniz ? isterseniz koyun bir bakalım.

İlgin için teşekkür ederim hocam, yenileyip upload ettiğim robots.txt dosyasının içeriği böyle;

User-agent: *
Disallow: /wp-includes
Disallow: /wp-admin
Sitemap: http://www.siteadresi.com/sitemap.xml
Allow: /

Disallow indexlenmemesi gereken yerler, allow indexlenmesi gerek yer, user-agent * tüm botların indexlenmesi için yazılmış kod.

Yanlışım var mı ?

Hocam birde şunu deneyip tekrar test edermisin ;

User-agent: Mediapartners-Google*
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: Googlebot
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: googlebot-image
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: googlebot-mobile
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: MSNBot
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: Slurp
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: Teoma
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: twiceler
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: Gigabot
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: Scrubby
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: Robozilla
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: Nutch
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: ia_archiver
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: baiduspider
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: naverbot
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: yeti
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: yahoo-mmcrawler
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: psbot
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: asterias
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: yahoo-blogs/v3.9
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: Yandex
Disallow: /wp-includes
Disallow: /wp-admin
User-agent: *
Disallow: /wp-includes
Disallow: /wp-admin
http://www.siteadresi.com/sitemap.xml

aynı sorun bendede oluştu...genel bişey olabilir.

/robots.txt
Web Erişilemeyen sayfa
Erişilemeyen sayfa

Yine aynı sorun hocam webmaster araçlarından göstermeye çalışıyorum olmuyor.

Hocam bu geçici google sapıtması olabilir. txt dosyanız root ta değilmi ?

Root dizininde bana saçma gelen ise ftp de yada ayarlarda hiçbir değişiklik yapılmadı nasıl böyle sorun yaşayabiliyorum onu öğrenmek diğer webmaster arkadaşlarda konuya dahil olursa toplu bir sorun olduğunu anlayabiliriz.

Ben şuan baktım bende böyle bir sorun yok. Şöle birşey deneyelim, Sağlık dizininde google gibi getir'e tıklayın, site adresi yanına robots.txt yazın oradan robots.txt şeklinde getirmeyi bir deneyin fakat dizine göndermeyin. Bakalım dizine erişiyormu google.

Dizine göndermeyin derken ftp deki robots dosyasını silip mi dene diyorsunuz ? robots un engel olup olmadığını anlamak için ?