lostyazilim

Bir Siteden 290 Milyon Sorgu Çekmek İstiyorum.. YARDIM LÜTFEN

8 Mesajlar 1.054 Okunma
lstbozum
wmaraci reklam

thenazzar thenazzar WM Aracı Kullanıcı
  • Üyelik 21.11.2013
  • Yaş/Cinsiyet 27 / E
  • Meslek Biyomedikal Mühendisliği, Bilg
  • Konum Kastamonu
  • Ad Soyad E** I**
  • Mesajlar 22
  • Beğeniler 4 / 0
  • Ticaret 0, (%0)
Herkese iyi günler

Bir siteden 290 Milyon tane sorgu çekmem gerekiyor sistemim php CURL tabanlı olarak kurulu fakat her bir sorgu tanesi 3 sn de çekebiliyorum tabi eğer 290 milyon sorgu için düşünecek olursak 8 yılda çekebileceğim anlamına geliypr ki buda imkansız..
bu süreyi en fazla 1 aya indirebilmek için ne yapmam gerek sistemi parçalayarak veri çekmeyi düşünüyorum fakat kendi pc mi yormamam da lazım

VDS almayı düşünüyorum ama eğer anlıyorsanız daha iyi bir fikriniz varsa yazabilirseniz çok iyi olur

Teşekkürler iyi günler..
 

 

wmaraci
reklam

JumperTech JumperTech Üyeliği Durdurulmuş Banlı Kullanıcı
  • Üyelik 02.07.2016
  • Yaş/Cinsiyet 39 / E
  • Meslek Webmaster
  • Konum İstanbul Avrupa
  • Ad Soyad B** O**
  • Mesajlar 1705
  • Beğeniler 820 / 523
  • Ticaret 19, (%100)
multi thread olayını araştır.
 

 

Blacksheep Blacksheep .NET Developer Kullanıcı
  • Üyelik 20.07.2014
  • Yaş/Cinsiyet 28 / E
  • Meslek Webmaster
  • Konum Ankara
  • Ad Soyad M** K**
  • Mesajlar 2074
  • Beğeniler 60 / 532
  • Ticaret 10, (%100)
Veri çekeceğiniz web sitesini ve hangi alanları çekmek istediğini pm atarsanız bir bakabilirim.
 

 

Fizello - Inspired by Colors

thenazzar thenazzar WM Aracı Kullanıcı
  • Üyelik 21.11.2013
  • Yaş/Cinsiyet 27 / E
  • Meslek Biyomedikal Mühendisliği, Bilg
  • Konum Kastamonu
  • Ad Soyad E** I**
  • Mesajlar 22
  • Beğeniler 4 / 0
  • Ticaret 0, (%0)
https://www.whois.com/

mantık burdaki Search butonu ile aynı php Curl sorgulatıp veriyi alıyorum captcha yok.

Aldığım veriyi de veritabanına yazdırıyorum .
Bu yaptığım sorgudan 290 milyon tane yaptığımı düşünün.
 

 

wmaraci
wmaraci

thenazzar thenazzar WM Aracı Kullanıcı
  • Üyelik 21.11.2013
  • Yaş/Cinsiyet 27 / E
  • Meslek Biyomedikal Mühendisliği, Bilg
  • Konum Kastamonu
  • Ad Soyad E** I**
  • Mesajlar 22
  • Beğeniler 4 / 0
  • Ticaret 0, (%0)

JumperTech adlı üyeden alıntı

multi thread olayını araştır.


hocam multicurl olayı işe yararmı peki ??
 

 

JumperTech JumperTech Üyeliği Durdurulmuş Banlı Kullanıcı
  • Üyelik 02.07.2016
  • Yaş/Cinsiyet 39 / E
  • Meslek Webmaster
  • Konum İstanbul Avrupa
  • Ad Soyad B** O**
  • Mesajlar 1705
  • Beğeniler 820 / 523
  • Ticaret 19, (%100)
Fazlasıyla yarar.
 

 

KadirCeyhan KadirCeyhan WM Aracı Kullanıcı
  • Üyelik 23.10.2016
  • Yaş/Cinsiyet 27 / E
  • Meslek Öğrenci
  • Konum Denizli
  • Ad Soyad K** C**
  • Mesajlar 691
  • Beğeniler 0 / 203
  • Ticaret 6, (%100)
http://php.net/manual/tr/function.curl-multi-init.php
 

 

dogandeniz dogandeniz WM Aracı Kullanıcı
  • Üyelik 01.01.2016
  • Yaş/Cinsiyet 31 / E
  • Meslek Computer Programming
  • Konum İstanbul Anadolu
  • Ad Soyad D** Ç**
  • Mesajlar 681
  • Beğeniler 171 / 178
  • Ticaret 4, (%100)
Kardeşim vds yi falan geç istersen performanslı bir fiziksel sunucu kirala olayı bayağı kısaltırsın.
 

 

🇹🇷🇹🇷🇹🇷
wmaraci
Konuyu toplam 1 kişi okuyor. (0 kullanıcı ve 1 misafir)
Site Ayarları
  • Tema Seçeneği
  • Site Sesleri
  • Bildirimler
  • Özel Mesaj Al