Google Crawlerlar iki şekilde çalışırlar birinci örümcek uygulama siteleri dolaşarak içeriğin linklerini tarar ve indexler bir link tarandığında içeriğindeki meta taglar kaydedilir, ikinci ve asıl önemli olan robot sayfaları tarar ve tüm içeriği indexler sitenin önem durumuna göre ikinci botun indexleme hızı değişkenlik gösterir, eğer çok aktif ve pr'ı yüksek bir siteniz varsa bu anlık olur, eğer daha düşük öncelikli bir siteye sahipseniz saatler hatta günleri bulabilir.