basit olarak şu algoritmayla gidebilirsin.Yazdığın bot her gittiği sitenin tag larını kontrol ettirirsin farklı bir site linki bulursan kayıt eder dallanarak devam edersin.