Aynı anda 10 veri tabanına bağlanıp, içiçe veri çekmek...

Merhabalar üstadım...

Vakit ayırdığınız, bilginizi paylaştığınız için çok teşekkür ederim...

Veri tabanı sisteminden uzaklaşmayı düşünmüyorum şimdilik.

Çünkü ilgili veri tabanınlarına bağlanarak o veritabanlarındaki verileri başka projelerde kullanma düşüncem var...

Json yönteminde bu nasıl olur bilmiyorum, yolu vardır belki ama nedense bana veri tabanı yöntemi daha uygun geliyor...

Belki de bilgim sınırlı olduğu için tam bir karşılaştırma yapamıyorumdur ve sağlıklı değerlendiremiyorumdur...

Her halikarda yazdığınız kodların işe yarayacağı durumlar muhakkak olur, olacaktır...

İnceleyeceğim...

ÇOK ÇOK TEŞEKKÜR EDERİM TEKRAR...

Aklıma ilk şu soru geldi? Fazladan bir mühendislik (over engineering) gereksinimi oluşturulmuş gibi.

10 ayrı şehir için 10 ayrı veritabanı oluşturmaktansa, tek bir veri tabanında rahatça yapılabilir gibime geldi..

Veritabanına sızma işlemi yapılırsa kısmı için bu denli bir çözüme gitmek, bana pek doğru gelmedi.

DB'ye erişme ihtimali sunucu taraflı güvenlik açığıdır, bunun için güvenli yazılım + sunucu güvenliği içinde AWS yada yerli bir çözümden destek alınması en doğru yöntem olacaktır. AWS / DigitalOcean üzerinde günlük yedekli bir DB servisi almanızı tavsiye ederim, güvenlik dertleriniz ortadan kalkıp, daha çok yazılım çözümüne odaklı işlere zaman ayırmış olursunuz.

Anladığım kadarıyla zaten büyük bir veri yok ortada..

Mevcut çözümde aklıma gelen en basit çözüm :

Mevcut bir şehirdeki DB 'den DDL scriptlerini alıp ortak DB + şema oluşturun.
Ortak DB'deki tüm tablolara bir discriminator ekleyin. Bu discriminator : ilgili DB yi belirtecek bir şehir ID, NAME gibi unique bir alan olmalı. Birde tüm tablolara deleted bir alan ekleyin (0,1) değerlerini alsın, default değeri 0 olsun.

Saatte bir çalışan job yazın.

job verileri sırasıyla her veritabanından (paginated olarak yada yapabiliyorsanız ve kullandığın db driver destekliyorsa stream ile) çekip, ortak bir DB'ye yazsın. Bir ortak db üzerinden çözüm üretin.

Ortak DB'ye yazarkende, şöyle mantıkta ilerleyin.

Ankara şehrinden bir tablodan verileri çekmeden önce ortak DB'de ilgili tablodaki tüm ankara şehri kayıtlarını soft olarak delete yapın;

soft delete sql : update table_name set deleted = 1 where discriminator = 'ANKARA';

sonrada çekilen verileri insert edin.

Diğer türlüsü ayrı ayrı db 'ye bağlan, verileri topla, sonra sort et :) zahmetli iş.. Heleki bir ekranda sayfalı bir şekilde bu işlem yapılacaksa, Allah kolaylık versin derim.

Veri merkezi bir yerde olduğunda istediğiniz çözümü rahatça gerçekleştirirsiniz.

BEYAZMASTER önceki yorumlarda arkadaşlar gayet güzel örnekler vermişler onları sağlıklı olur senin için ama hani bunlara girmeden yapamaz mıyım dersen şöyle bi dene istersen.

1.veritabanından gelen verileri bir değişkene aktar.
2.veritabanından gelen verileri de aynı değişkene .= ile birleştir.
Bu şekilde 10 tanesini de aynı değişkene aktarmış olursun. Belki böyle çözüme kavuşabilirsin.

Üstadım gene çok komplike bilgiler paylaşmışsınız, tekrar çok teşekkür ederim.

Söylediklerinizi değerlendiremiyorum zira kullandığınız terimlerin nelere karşılık geldiğini dahi bilmiyorum şu anda...
Önce onları öğrenmem gerek değerlendirme yapabilmem için...

Zamanla öğrenmeye çalışacağım...

Tercihim belki öğrendikten sonra da değişmeyebilir ama konuya tam hakim olmak için öğrenmek gerek...

Sizce 50.000 işletme için çoğu char (255 karakter altındaki) 250 sütunluk 1'er kayıt satırının toplamı büyük bir veri midir?

Tümünü 1 tek veri tabanında bulundurmak uygun mudur?

Veri merkezi (hostingi kasdediyorsunuz sanırım) ve domain/ler aynı firmada bulunuyor ise...

Hocam cevabınız ve öneriniz için çok teşekkür ederim.

Paylaştığınız her 2 maddenin nasıl icra edildiğini bilmiyorum sanırım...

Araştırmam gerek...

Geçici olarak bulduğum çözümü paylaşayım;

10 ayrı veri tabanından verileri çekip listeliyorum.

Tümünü bir filtre class'ının içine koyup filtre yardımı ile sıralamaya ve filtrelemeye tabi tutuyorum...

Bilgim ancak buna yetti şimdilik...

İDEAL BİR ÇÖZÜM MÜDÜR VE DAİMİ OLARAK KALMALI MI SİZCE?

Kesinlikle büyük veri değildir.

Çözüm için yapılacak listeyi yazmıştım.

1 - Mevcut bir DB'ni export, import edip, tüm tablolara discriminator eklemen.

import ettikten sonra (oracle syntax yazıyorum) ;
alter table_name add discriminator varchar2(50 char);
alter table_name add deleted numner(1) default 0;

2 - php ile yazıyorsun sanırım cron/scheduler job kullanmak gerek.
Örnek bir kütüphane : https://github.com/lavary/crunz

3 - Bu kütüphane ile her saat başı çalışacak bir process yazacaksın.

Her saat başı Cron expression : 0 0 0/1 1/1 * ? *

Ref for cron expression : http://www.cronmaker.com/

Yada Kütüphanedeki kod olarak aynı kullanım : her saat 'in 10. dakikasında çalış gibi

00:10
01:10
02:10

gibi.

// ...
$task = $schedule->run(PHP_BINARY . 'collect-data-from-distributed-dbs-to-common-db.php');
$task
->hourlyAt('10');
// ...

Buradaki işi yapmayı kolaylaştırmak için common db'de bir tane tablo oluşturup, 10 tane veri tabanının bilgilerini tutun.

//oracle syntax'ıdır. siz mysql syntax ile yazarsınız.

create table dist_city_dbs {
city_name varchar2(50 char) not null unique,
db_conn_info varchar(255 char) not null
}

Örnek -> 'ANKARA', 'server=217.10.12.231;uid=ankara_db;pwd=ank_123_db12e;database=ankara'

collect-data-from-distributed-dbs-to-common-db.php -> dosyası içerisinde db lere bağlanıp, veri çekip, ortam db ye yazma işi yapacaksınız.

//pseudo kod

//select city_name, db_conn_info from dist_city_dbs order by city_name asc -> dist_city_dbs tablosundaki veriyi çekin
//tablodan gelen veriyi loop içerisinde dönün.
loop içinde sırasıyla;
- common db'deki verir çekilecek tabloya update işlemi yapılır.
update common-db.table_name set deleted = 0 where discriminator = city_name;
- db_conn_info değeri ile uzaktaki "ANKARA" şehri DB'sine bağlan
- select * from table_name order by ID asc; //ID değeri string ise create_date asc gibi bir alan kullanın
- uzaktaki şehir db bağlantısını kapat
- gelen veriyi common-db'deki aynı tabloya insert edilecek. discriminator değer olarak city_name set edilmeli.
- common-db bağlantısını kapat


Tüm işlem bu kadar.. Bu hali ile de geliştirilecek ve hataya açık bir yönü var.
Ama ilk adımı atın sonrası zaten hata ile karşılaşıldıkça çözülür.

VAY BE!

DAHA KOMLİKE BİR CEVAP...

Üstadım çok sağolun...

Bu cevabı kaydedeceğim ve zamanla anlamya ve uygulama çalışacağım...

Emeğinizden, ayırdığınız vakitten dolayı lütfen HAKKINIZI HELAL EDİNİZ...

Son sorum şu olsun;

"Kesinlikle büyük veri değil" demişsiniz.

Buradan hareketle 50.000 satırlık veriyi tek veri tabanına kaydetsem ne gibi sorun/lar yaşatır!?

Eğer sorun oluşturmayacak ise bu en pratik yol olur sanırım...

Ne dersiniz?

50bin satır, çok kaale alınacak veri boyutu değildir.

Çalıştığım ortalama bir sistemde dakika bir tabloya 30K veri yazıyor. Günlük partition yaparak, ortalama 50m kayıtlı tabloya sorgu atıp, ms içinde cevap alabiliyoruz.

Tabi sorgu atarken where koşulundan sonraki alanlarda index olması, attığım sorguda zaman limitasyonu gibi ek düşünülmüş işler var ama 50K tablo ile sorun yaşamanız pek mümkün değil.

Bolca sorgu gelen tablolarınızın where koşulunda kullandığınız alanlara index atın, ms içinde cevaplar alırsınız.

Üstadım verdiğiniz cevaplar gerçekten çok önemli ve yol haritamı aydınlatıcı olmaya başladı.

("Bolca sorgu gelen tablolarınızın where koşulunda kullandığınız alanlara index atın, ms içinde cevaplar alırsınız" bu kısmı henüz anlamadım zamanla anlarım diye düşünüyorum...)

Paylaştığınız "deneyimler ve bilgiler" doğrultusunda veri tabanımı parçalara bölme stratejisinden vazgeçeceğim sanırım...

Ramak kaldı...

Veri tabanı konusunda uzman olduğunuz çok net...

İyi ki sorumu gördünüz ve katkı sağladınız...

ÇOK ÇOK TEŞEKKÜR EDİYORUM...