@Loving bu durumun nedeni, sunucu curl u kapalı ve sadece bilinir arama motorlarına açık, kendi botumuz erişmeye çalıştığında bilinmeyen bir bot olduğu için erişimi reddediyor, bunun içinde ayrıca çözüm üreteceğiz, report sistemi yapıyoruz şuanda. Artık eklenen her site onaya düşüyor ve inceliyoruzi ardından bot siteye girip tüm indexleri alıp dizine ekliyor.