10 db deki veriyi, ayrı ayrı çekip, konsolide edip, sonrasında sort etme gereksinimi sebebi nedir?

Web, Mobil uygulama mıdır?

Buradaki büyüklük ile kasıt nedir? GB, TERABYTE filan mı, 10m, 100m gibi somutlaştırması gerek.


10 ayrı veri tabanına bağlanıp iş yapıp sonucunda veriyi birleştirmek, sort etmek DWH, BigData işlerinde oluyor genelde.

Onlarda farklı veri kaynaklarına paralel job'lar ile dalıp, o veriyi veri akışlarında konsolide edip, çıktı sağlıyorlar.. ETL bu işin DWH tarafındaki kısaltmasıdır.

Bu tür dağıtık datalar için joblar yazıp, veriyi konsolide edip, tek bir yerden sunmak en basit / temiz çözümdür. Cassandra/Scylla, MongoDb gibi nosql dbler mevcut. (onlarda yapacağın işe göre kullanımı değişiklik gösterir)