Forumun yazılımcıları algoritma için beyin fırtınası toplanın!

Merhaba arkadaşlar şuan bir arama motoru geliştirmekteyim. Node.js kullanarak gerçek zamanlı bir örümcek oluşturdum. bu konu hakkında hiç problem yok. Yeterli alt yapım olursa 24 saat içinde milyonlarca sayfa eklemem oldukça mümkün..
Ancak sizinde anlayacağınız üzere mysql bu iş için hiç yeterli değil. Hazır başlamışken projenin kendine özel bir veri tabanı olsun istiyorum. Nosql sistemler üzerinde daha önce hiç çalışmadığım için algoritma açısından biraz tıkandım.

Proje için en uygun algoritmayı oluşturmaya çalışıyorum,malesef yıllardır mysql türevi veri tabanlarında çalıştığım için aklıma bir tek dosya tabanlı çalışan sql'i taklit eden bir yapı geldi.

Şimdi burada şöyle bir problemim var yeterli alt yapıyı sağladıktan sonra sadece bir ay içinde yüz milyonları aşması muhtemel veri var. Verileri şuan deneme amacı ile aşağıda ki şekilde basit dökümanlar olarak saklıyorum >

Veriler içinde önem arz eden bir nokta olmadığı için bu tarz basit dökümanlar şeklinde saklamak oldukça mantıklı geldi ayrıca nosql veri tabanları da genellikle .json (.bson)
türevinde döküman bazlı sistemlerden oluşuyor.

Tuttuğum bu verilerin ortalaması 300 baytı dahi geçmiyor.
Şuan için izlediğim yol bu şekilde ancak daha iyi önerilere tamamen açığım. Bu arada amaç kendimi geliştirmek bu yüzden mongoDB,elastic search gibi sistemleri kullan demeyin.. Hazır yapmışken tamamen benden olsun istiyorum sevgiler..

Tebrik ederim umarım başarılı olursunuz. Bilgim olmadığı için önerim yok maalesef.

Teşekkürler hocam saolun

Geçen gün codecanyondan searc web site scripti aldım. Easy web searc. Mysql ekliyor sanırım. Db falan oluşturdum, spider modu var. Dosyaları incelemek fayda sağlarsa gönderirim ne kadar etik olur bilmiyorum. Gerçi siz mysql istemiyorsunuz sanırım

Hocam php,mysql kullanarak yapmak çok basit bir şey zaten. Ancak gerçek anlamda bir arama motoru yapmak isteniyorsa yetersiz kalacaktır.. Bu yüzden bu şekilde sıfırdan inşa etmeliyim genede teşekkürler

Çok fazla kafa yorduğum bir konu değil ama Mysql'in yeterli olmadığı yerde verileri basit dosyalar halinde diske yazmak hiç yeterli olmaz bana göre. Yani mysql'den daha yavaş olur.

Onun önünde zaten Redis cache apache Solr falan kullanman gerekecek sorguları hızlı şekilde çalıştırmak için. Bunları yaptıktan sonra da zaten arkada istediğin veritabanını kullanabilirsin.

Deneyim olarak ben basit bir e-ticaret sitesinin araması için Solr kullandım. Doğruluk ve hız konusunda direk Mysql kullanımına göre fark atıyor. Ram Cache olarak da Redis gayet başarılı.

Sonuç olarak arama motoru mu yoksa patenli veritabanı mı icat etmek istiyorsun karar ver bence. Bir insan herşeyi yapamaz. Arama motoru yapacaksan var olan altyapıları kullan.

Başarılar

hocam pek bir şey anlamadım ama geliyoo denen tabiri caizze vıttırı vızzo arama motorundan çok daha iyi yerlere geliceğinizden eminim. bir Google veya yandex olmasanızda böyle çalışmaya devam ederseniz gerçekten türkiyenin arama motoru olma şansınız var.

Yorumunuz için teşekkürler,var olan nosql veri tabanlarının çalışma mantığı da zaten şuan yapmakta olduğum şekilde işliyor. Örnek olarak elastic search basit .json dosyaları olarak verileri tutar. Aynı şekilde mongoDB de json bazlı olan bson dosya türünde verileri tutmakta. Zaten cache için muhtemelen redis kullanmayı planlıyorum teşekkürler

edit -yanlış yazmışım

Teşekkürler hocam maksat kendime bir şeyler katmak birde şu sıkıcı gecelere bir dur demek aslında öyle çok proje tutsun gibi bir düşüncem yok :)

hocam Türkiye'de iyi yerlere geleceginize eminim kutlarım sizi aynen yukardaki yorum yapan arkadasın dedigine katılıyorum geliyoo gidiyoo :) bu sekilde calısmanız sürerse basarınız kacınılmaz olur destkleyenlerde illa cıkar bu projenizi.... ben google harici sitemden backlink cıkısı yapmam sahsım adına ama yerli projenize backlink verebilirim kendi sitelerimden derlerki sıcanın s... denize faydası olurmus :D ben bukadarlık destek verebilirim digeride cıkar baska sekilde destekler sizi saygılarımla keyifli forumlar