Arkadaşlar, test amaçlı arama motoru kurduk. Verileri Google'dan çekmiyor kendi veritabanımızı oluşturuyoruz. Hızla sitelerin sitemaplarını database'e ekliyoruz. Ancak şöyle bir sorunumuz var; VPS'miz 8 core CPU'ya sahip ancak hep %100 cpu kullanımı. Arada %90'a doğru düşüyor. VPS firması tarafından uyarı aldık, devamı halinde bizi kapı dışarı edecekler. Sorunu nasıl çözeriz?
(Allah Google'a, Yandex'e, Bing'e Yardım Etsin Amin :) )
%100 Cpu Kullanımı |
7 Mesajlar | 940 Okunma | ||
- Üyelik 23.08.2019
- Yaş/Cinsiyet 19 / E
- Meslek Öğrenci
- Konum Kayseri
- Ad Soyad Z** D**
- Mesajlar 135
- Beğeniler 106 / 19
- Ticaret 1, (%100)
- Üyelik 21.02.2016
- Yaş/Cinsiyet 31 / E
- Meslek öğrenci
- Konum İstanbul Avrupa
- Ad Soyad H** G**
- Mesajlar 127
- Beğeniler 6 / 14
- Ticaret 2, (%100)
Mysql verileri cache etmeniz ya da MySQL dışında bir veri tabanı kullanmanız gerekiyor. Mysql aramaları CPU ve ram kullanımını en yüksek seviyeye çekiyor.
- Üyelik 23.08.2019
- Yaş/Cinsiyet 19 / E
- Meslek Öğrenci
- Konum Kayseri
- Ad Soyad Z** D**
- Mesajlar 135
- Beğeniler 106 / 19
- Ticaret 1, (%100)
Mysql verileri cache etmeniz ya da MySQL dışında bir veri tabanı kullanmanız gerekiyor. Mysql aramaları CPU ve ram kullanımını en yüksek seviyeye çekiyor.
verileri cache ettik. En iyisi galiba farklı bir veritabanı kullanmak. Öneriniz nedir?
- Üyelik 21.02.2016
- Yaş/Cinsiyet 31 / E
- Meslek öğrenci
- Konum İstanbul Avrupa
- Ad Soyad H** G**
- Mesajlar 127
- Beğeniler 6 / 14
- Ticaret 2, (%100)
Statik bir yapı oluşturabilirsiniz . Ya da cloud sistemler mevcut big data için onları araştırabilirsiniz
- Üyelik 18.03.2017
- Yaş/Cinsiyet 38 / E
- Meslek E-Ticaret
- Konum İstanbul Avrupa
- Ad Soyad P** A**
- Mesajlar 1146
- Beğeniler 339 / 339
- Ticaret 2, (%100)
her cpunun hızı ve yüzde olarak ne kadar size veriliyor. bazı firmalar her çekirdeğe olduğundan çok daha mhz verip ve bunuda süreyle kısıtlıyor. yada çok eski düşük performanslı makine kullanıyolar. eğer firmada sorun varsa, deneme imkanı veren digitalocean ve vultr kullanabilirsin belli bir süre için.
- Üyelik 23.08.2019
- Yaş/Cinsiyet 19 / E
- Meslek Öğrenci
- Konum Kayseri
- Ad Soyad Z** D**
- Mesajlar 135
- Beğeniler 106 / 19
- Ticaret 1, (%100)
her cpunun hızı ve yüzde olarak ne kadar size veriliyor. bazı firmalar her çekirdeğe olduğundan çok daha mhz verip ve bunuda süreyle kısıtlıyor. eğer firmada sorun varsa, deneme imkanı veren digitalocean ve vultr kullanabilirsin belli bir süre için.
%100 3200mhz
- Üyelik 16.06.2014
- Yaş/Cinsiyet 27 / E
- Meslek öğrenci
- Konum Kocaeli
- Ad Soyad B** Ö**
- Mesajlar 945
- Beğeniler 87 / 262
- Ticaret 1, (%100)
Öncelikle bu iş için mysql yanlış bir tercih. Gelelim sorununuza.
Bu kadar yoğun bir veri girişinde, her veri için bir sorgu çalıştırıyorsanız problemi sunucu gücüyle çözemessiniz.
Tahminimce her yeni veri için bir insert sorgusu çalışıyor, bunun yerine crawler ile tüm sayfaları tarayıp sql stringe çevirip tek bir sorgu ile insert etmelisiniz. Muhtemelen yaşadığınız sorun bu.
Bu kadar yoğun bir veri girişinde, her veri için bir sorgu çalıştırıyorsanız problemi sunucu gücüyle çözemessiniz.
Tahminimce her yeni veri için bir insert sorgusu çalışıyor, bunun yerine crawler ile tüm sayfaları tarayıp sql stringe çevirip tek bir sorgu ile insert etmelisiniz. Muhtemelen yaşadığınız sorun bu.
Konuyu toplam 1 kişi okuyor. (0 kullanıcı ve 1 misafir)