Gokcinodul adlı üyeden alıntı
Tabiki o sizin kararınız, arama motor index botunu ücretsiz vermiyoruz tabiki fiyatı baya bir yüksek bütçeniz yetmeyede bilir.
Benim yeter butce bana detay gonderir misin? Ne diyeceksin cok merak ediyorum.
Yil 2014 olmus hala suradaki merakli cocuklari kandirmaya calisiyorsunuz ve bunun imkansiz oldugunu soyleyemiyorsunuz.
Crawler her dilde yazilabilir fakat performans olarak Python ile yazilmasi uygundur. Sistemleri yormaz ve hizlidir. Crawler yazmak sorun degil sorun olan topladiginiz bilgileri nerede tutacaginiz ve Crawler'i calistirabilecek altyapiniz var mi onu sorgulamak lazim.
Konuyu acan guzel arkadasim unut bu olayi. Python Web Crawler olarak arama yaparak kaynaklara ve yazimina ulasabilirsin. O kaynaklarda sadece sana basit bir crawler yazacaklardir.
Sana basit bir ornek vereyim ahrefs.com duymussundur onlari kullandigi su anki sunucu miktari bile 60 adet sadece crawler calismasi icin. her sunucunun masrafi 500 TL olsa aylik 60 * 500 TL = 30 000 TL sadece sana sunucu masrafi cikar ve bu masraf sadece taramak icin. Verileri saklaman icin olanini saymiyorum bile. O isler oyle kolay olsaydi suanki devletimiz tum imkanlari ortaya koyar ve arama motoru yapardi. Ulkeden vergi cikisini engellemis olurdu. Bilmem anlatabildim mi?
