YahooBot veya resmi adıyla Yahoo Slurp, Yahoo tarafından geliştirilmiş olan bir tarama yazılımı ve robotudur. Yahoo Slurp, internet üzerinde yer alan web sayfalarını tarar ve bu sayfalar hakkında elde etmiş olduğu bilgileri Yahoo'un arama motoru haznesine geçirir. Böylece Yahoo kullanıcılara arama sonuçlarında çok daha etkili ve istenen sonuçları sunar.
YahooBot Test
Eğer kullandığınız sayaç yazılımının içerisinde “Slurp” User-Agent'ını görüyorsanız o halde Yahoo'nun arama motoru botu tarafından taranıyorsunuz demektir. Tabii dilerseniz robots.txt dosyasına ekleyeceğiniz ekstra komutlarla Yahoo'nun arama botunun web sayfanızın hangi sayfalarını taramayacağını kendiniz de belirleyebilirsiniz. Ayrıca Yahoo'nun Webmaster alanından da tarama işlemi gerçekleştirebileceğinizi unutmayın.
Robots.txt Nedir? Robots.txt Ne İşe Yarar ve Robots.txt Nasıl Olmalı?
Robots.txt, tüm sunucuların ve sitelerin ana dizini içerisinde yer alması gereken botlara karşı verilecek komutları içerisinde barındıran bir bilgilendirme/ayar dosyasıdır. İnternet üzerinde insanlar yerine çalışan birçok bot vardı...
YahooBot User-Agent
YahooBot olarak da tanımladığımız, Yahoo'nun arama motoru botunun User-Agent'ini web sitenizin analizlerine baktığınızda “Slurp” olarak göreceksinizdir. Daha detaylı bir raporlama halindeyse Slurp'u aşağıdaki User-Agent verisinden tanıyabilmeniz mümkün olacaktır.
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
