Arama motoru yazanların karşılaşıp da arama motoru yazamadığı bu zorluklar neler ?

Yani neden yazılamıyor, toplam kayıtlı link sayısı ile mi alakalı yoksa siteleri tarayıp dizinlerine ekleyecek bir bot mu yazamıyorlar ? Veyahut arama algoritmasını kurmak mı zor ?