Yandex'in interneti nasıl indexlediğine dair bir açıklamaya denk geldim. İlgilenenler olursa okuyabilir.

Ufakta olsa algoritmalarından bahsetmişler.

http://sirket.yandex.com.tr/technologies/indeksleme.xml