atanik Veritabanından gelen kayıtları limit özelliği ile limitlendirin. Örneğin ilk 100 kayıt çağıracak şekilde. Daha sonra bunu döngüye sokarak 100 un katları şeklinde tüm kayıtları çağırana kadar tekrar ettirin.
Eger liste şeklinde ekrana basılacaksa yine limitlendirme yaparak sayfalama yapmalısınız.
Aksi taktirde limitlendirme yapmadığınızda tek seferde tüm kayıtları çağırır ve tümüne ulaşamadan timeout a düşersiniz.
320 milyon sorguyu nasıl çalıştırırım? |
23 Mesajlar | 3.219 Okunma | ||
- Üyelik 18.06.2013
- Yaş/Cinsiyet 38 / E
- Meslek Yazılımcı
- Konum Bursa
- Ad Soyad E** K**
- Mesajlar 651
- Beğeniler 109 / 313
- Ticaret 2, (%100)
Openix.io | $9.90 PositiveSSL | $12.90 RapidSSL
- Üyelik 11.09.2013
- Yaş/Cinsiyet 29 / E
- Meslek Bilgisayar Mühendisi
- Konum İzmir
- Ad Soyad A** K**
- Mesajlar 1077
- Beğeniler 361 / 361
- Ticaret 33, (%100)
Döngü içerisinde veritabanı hit, bir yazılımcının en çok kaçınması gereken konulardan biridir. Kaldı ki siz 7 kez içeri giren bir döngü içerisinde bunu yapıyorsunuz.
Yani veritabanına 323.190.000 kez gidip geliyorsunuz. Sorgunuz 0,001sn sürecek şekilde bile çalışsa 323.190 sn = 5.386 dk = 89,7 saat = 3,7 gün sürer.
Bu hesabı yaparken saniyede 1000 sorgu çalıştıracak bir performansla bu işin gerçekleştiğini varsaydık Burada temel sıkıntı her seferinde veritabanına git gel yapmak gerektiğidir. Sorgunuzu inceleyecek vaktim şuan yok, ama doğru yol bu değil. Olabildiğince az veritabanı git gel yapmanız gerekmekte. Yani mevzu 320milyon veri çekmek değil, veritabanı bunu gayet rahat yönetebilir, sorun 320 kez veritabanından istek yapıp cevap almayı beklemekte.
Böyle bir durumda zaten timeout süresini uzatmak, kaldırmak da sorununuzu çözmez. Ki çözüyor olsa da zaten bu bir çözüm değil üst kapatma olur. Yapmanız gereken döngü içerisinde olabildiğince az sorgu kullanmak. Hele iç içe döngü içerisinde böyle bir şeyi hiç bir zaman kullanmamak, çünkü her içe soktuğunuz döngüde kartezyan çarpımı olarak üst döngünün dönüş sayısı x iç döngünün dönüş sayısı kadar veritabanına istek atıp cevap beklersiniz.
Yani veritabanına 323.190.000 kez gidip geliyorsunuz. Sorgunuz 0,001sn sürecek şekilde bile çalışsa 323.190 sn = 5.386 dk = 89,7 saat = 3,7 gün sürer.
Bu hesabı yaparken saniyede 1000 sorgu çalıştıracak bir performansla bu işin gerçekleştiğini varsaydık Burada temel sıkıntı her seferinde veritabanına git gel yapmak gerektiğidir. Sorgunuzu inceleyecek vaktim şuan yok, ama doğru yol bu değil. Olabildiğince az veritabanı git gel yapmanız gerekmekte. Yani mevzu 320milyon veri çekmek değil, veritabanı bunu gayet rahat yönetebilir, sorun 320 kez veritabanından istek yapıp cevap almayı beklemekte.
Böyle bir durumda zaten timeout süresini uzatmak, kaldırmak da sorununuzu çözmez. Ki çözüyor olsa da zaten bu bir çözüm değil üst kapatma olur. Yapmanız gereken döngü içerisinde olabildiğince az sorgu kullanmak. Hele iç içe döngü içerisinde böyle bir şeyi hiç bir zaman kullanmamak, çünkü her içe soktuğunuz döngüde kartezyan çarpımı olarak üst döngünün dönüş sayısı x iç döngünün dönüş sayısı kadar veritabanına istek atıp cevap beklersiniz.
- Üyelik 26.11.2010
- Yaş/Cinsiyet 41 /
- Meslek bilgisayar mühendisi
- Konum
- Ad Soyad A** T**
- Mesajlar 79
- Beğeniler 40 / 6
- Ticaret 0, (%0)
atanik dizelerdeki değerler sabit mi değişken mi?
Hepsi sabit değerler
- Üyelik 14.07.2018
- Yaş/Cinsiyet 27 / E
- Meslek Öğrenci
- Konum Ankara
- Ad Soyad M** D**
- Mesajlar 297
- Beğeniler 41 / 74
- Ticaret 35, (%100)
browserda çalışmaz.
- Üyelik 26.11.2010
- Yaş/Cinsiyet 41 /
- Meslek bilgisayar mühendisi
- Konum
- Ad Soyad A** T**
- Mesajlar 79
- Beğeniler 40 / 6
- Ticaret 0, (%0)
Destek olmaya çalışan tüm arkadaşlara teşekkür ederim.
cmd komut istemi ile çalıştırdım. söylemeyi unuttum. bu bir defalık yapılması gereken bir işlem olduğundan browser da çalıştıramadım .
şu an komut isteminde çalışıyor ve http://localhost/phpmyadmin/server_status_processes.php takip ediyorum sorunsuz çalışıyor gibi.
localhostta çalıştırdığım için fazla kaynak kullanabilirim uzun süreceğinden bilgisayarı açık bırakacağım. o yüzden en fazla performansı kullanarak yapabilmem için mysql ve php ayarlarında bir şey yapabilir miyim ? Eğer yapabilirsem komutu yeniden mi başlatmalıyım ?
cmd komut istemi ile çalıştırdım. söylemeyi unuttum. bu bir defalık yapılması gereken bir işlem olduğundan browser da çalıştıramadım .
şu an komut isteminde çalışıyor ve http://localhost/phpmyadmin/server_status_processes.php takip ediyorum sorunsuz çalışıyor gibi.
localhostta çalıştırdığım için fazla kaynak kullanabilirim uzun süreceğinden bilgisayarı açık bırakacağım. o yüzden en fazla performansı kullanarak yapabilmem için mysql ve php ayarlarında bir şey yapabilir miyim ? Eğer yapabilirsem komutu yeniden mi başlatmalıyım ?
- Üyelik 26.11.2010
- Yaş/Cinsiyet 41 /
- Meslek bilgisayar mühendisi
- Konum
- Ad Soyad A** T**
- Mesajlar 79
- Beğeniler 40 / 6
- Ticaret 0, (%0)
tüm gece boyunca bilgisayarı açık bıraktım ve sabah çok fazla yol kat edemediğimi gördüm. Hatta array içinde sayısı az olan 2 döngüyü kaldırıp denedim(manuel olarak 50 dosya yaparım düşüncesi ile). Ama bu seferde yine uzun bir yol kat edemedim.
belki konuyu biraz daha detaylı anlatmam gerekir diye düşündüm. konuyu düzenledim ve güncelleme olarak yazdım https://wmaraci.com/forum/php/320-sorguyu-nasil-calistiririm-610346.html
belki konuyu biraz daha detaylı anlatmam gerekir diye düşündüm. konuyu düzenledim ve güncelleme olarak yazdım https://wmaraci.com/forum/php/320-sorguyu-nasil-calistiririm-610346.html
- Üyelik 14.01.2018
- Yaş/Cinsiyet 51 / E
- Meslek Programcı
- Konum İzmir
- Ad Soyad S** S**
- Mesajlar 319
- Beğeniler 4 / 111
- Ticaret 0, (%0)
Sen tam olarak ne yapmak istediğini biraz daha aç. Ona göre ya düzgün bir sql sorgusu yazalım olmadı tabloyu hafızaya alıp oradan dönersin. Bu şekilde olmaz.
Kafanda kurduğun algoritmaya çözüm isteme, ne yapmak istiyorsan tam olarak detaylı bir biçimde anlat ki düzgün bir şekilde çözülsün.
Kafanda kurduğun algoritmaya çözüm isteme, ne yapmak istiyorsan tam olarak detaylı bir biçimde anlat ki düzgün bir şekilde çözülsün.
- Üyelik 26.11.2010
- Yaş/Cinsiyet 41 /
- Meslek bilgisayar mühendisi
- Konum
- Ad Soyad A** T**
- Mesajlar 79
- Beğeniler 40 / 6
- Ticaret 0, (%0)
çok doğru söylüyorsun. sanırım her şey benim aklımda ve sizinde anlamınızı bekledim. Kusura bakmayın. işin özü aslında şöyle no,tarih,oran HARİÇ diğer kalonlarda tekrar eden kayıtları bulup onların "oran" kolonundaki değerleri toplamak istiyorum.
1601 numaralı ve 1709 numaralı kayıtların aynı olduğunu düşünelim. bu ikisinin "oran" değerlerinin toplanması yaptırmak istiyorum. Toplamda 6289 kayıt ve en fazla 2-3-4 kayıtlar birbiri ile tamamen aynı oluyor.
Bu 6289 kayıt arasında birbiriyle başka no,tarih,oran HARİÇ aynı olanlarda olabilir. yine onlarıda ayrı ayrı yazıp "oran" değerlerini toplamının yapılmasını istiyorum.
Umarım şimdi anlatabilmişimdir. tekrardan kusura bakmayın.
1601 numaralı ve 1709 numaralı kayıtların aynı olduğunu düşünelim. bu ikisinin "oran" değerlerinin toplanması yaptırmak istiyorum. Toplamda 6289 kayıt ve en fazla 2-3-4 kayıtlar birbiri ile tamamen aynı oluyor.
Bu 6289 kayıt arasında birbiriyle başka no,tarih,oran HARİÇ aynı olanlarda olabilir. yine onlarıda ayrı ayrı yazıp "oran" değerlerini toplamının yapılmasını istiyorum.
Umarım şimdi anlatabilmişimdir. tekrardan kusura bakmayın.
- Üyelik 14.01.2018
- Yaş/Cinsiyet 51 / E
- Meslek Programcı
- Konum İzmir
- Ad Soyad S** S**
- Mesajlar 319
- Beğeniler 4 / 111
- Ticaret 0, (%0)
Konuyu toplam 1 kişi okuyor. (0 kullanıcı ve 1 misafir)