GoogleBot, Google'ın mühendisleri tarafından geliştirilmiş olan interneti taramaya yardımcı bir örümcek yazılımdır. Googlebot'un amacı internet üzerinde yeni web sayfalarını taramak, bu web sayfaları içerisinden tarama işlemi gerçekleştirmek ve bu sayfaların ön belleğe alınmasını sağlamaktır. GoogleBot yeni bir web sayfasını taradığı gibi eski olan sayfalarda da değişiklik meydana getirildiği takdirde tarama işlemini gerçekleştirir.
GoogleBot Test
Googlebot'unun web sitenize ulaşabiliyor olması sitenizin içeriklerinin doğru olarak indexlenmesi ve arama motorlarındaki derecelendirmesinin en iyi şekilde olması için çok önemli bir noktadır. Bu nedenle bazı aralıklarla (özellikle index sorunu yaşadığınıza zamanlarda) GoogleBot için bir test uygulayabilirsiniz. Testi gerçekleştirmek için;
- Google Webmaster Tools'a giriş yapın.
- “Tarama” sekmesi içerisinden “Robot.txt Test Aracı” linkine tıklayın.
- Sayfanın altında bulunan tarama aracına herhangi bir engellenmemiş olduğunu düşündüğünüz URL (boş bırakabilirsiniz.) yazın ve “Test Et” butonuna tıklayın.
Bu işlem sonucunda “İzin Verildi.” yanıtıyla karşılaşırsanız Googlebot belirlediğiniz URL'ye giriş yapmakta herhangi bir sorun yaşamıyor demektir. Bu işlemden olumsuz sonuç almanız halinde kendinize yeni ve GoogleBot'a izin verilen bir “robot.txt” dosyası hazırlamayı deneyebilirsiniz.
Index Nedir? Index Yapma ve Index Atma
Index, web sunucularında varsayılan olarak siteye giriş yapıldığında ilk çağırılan sayfadır. Örneğin Apache bir web sunucumuz olsun ve bu sunucumuzun içerisinde farklı isimlerde birçok farklı Index dosyamız olsun. Sunucumuz bu Inde...
GoogleBot User Agent
Google Bot için User Agent'i kullanmak için tarayıcınızın varsayılan User Agent Switcher özelliğini kullanabilir veya User Agent Switcher isimli Google Chrome & Mozilla Firefox eklentisini deneyebilirsiniz. Bu eklentiyi kurup aktif hale getirdikten sonra GoogleBot'u seçerek Google Bot User Agent'inde sitenize giriş yaparak engelleme veya bir sorun olup olmadığını öğrenebilirsiniz.
Ayrıca GoogleBot User Agent & IP adreslerini öğrenmek istiyorsanız aşağıdaki bağlantıya tıklayabilirsiniz.
