SOLR 'ın indexleme performansını yaptığım testlerde pek beğenmediydim. Memnunmusunuz?(Yaptığım testlerdeki ortamsal limitasyonlar belki sebebidir)
Mantıksal olarak şahsen düşündüğüm, quartz yada spring-batch gibi araçlarla zaman bazlı işlemleri yaptırıyorsunuzdur özellikle botların çalışma zaman aralıklarına göre indexleme işlemleri için, indexlediğiniz url'leri mongo yada in-memory bir db içine yazıp, sonra işlemek üzere rabbitmq, activemq yada hazelcast(hem inmemory hem queue işlemleri) gibi ara çözümlerle bir rdbms 'e yazıyorsunuzdur diye düşündüm.
RDBMS göremedim component'lar içinde full datayı mongo içindemi barındırıyorsunuz ?
Slide oldukça açıklayıcı elinize sağlık ;)