Crawler artık keyifci bir hal aldı. Artık siteleri eskisi gibi arka arkaya ziyaret edip indexlemiyor. Öncelikli olarak büyük sitelerde geziniyor ve onları indexliyor. Ama index hızını arttırabilirsin. Konularını düzenli olarak paylaşırsan mesela 1er saat aralıklarla ve backlink sayını arttırırsan crawler her bir saatte bir siteni ziyaret edecektir. Bu yüzdendir ki ilan siteleri vb. sitelerden crawler çıkmaz. Senin anlayacağın kardeş crawlerın ayağını alıştırmalısın.