Bir Listener yani dinleyiciye ihtiyacınız var. Bu her dakika gidip, kaynağı okuyup içeriği alıp, bir yere kayıt edecek sonra ikinci bir Listener ise, kayıt edilen her veriyi istediğiniz kriterlere göre ayrıştırıp, bilgi tarayacak.

Basit bir batch uygulaması ama Thread üzerinde hep işlem yapacağınızdan concurrentThreadException yemek yüksek bir olasılık bu tür hatadan sakınmak için her işlemi kuyruğa sokmalısınız birinin işi bittiğinde, diğeri devam etmeli yada birinin işi beklenilen süreden fazla uzadığında o işlemi bitirip, yenisine geçmeli gibi.

Php tarafında bu iş için, job kullanılabilir.Php'de varolan Queue(Kuyruk) sistemleri hakkında bilgi sahibi değilim ama php'nin varsa queue sistemi yada yapısı onun üzerinden jobları çalıştırmak yararınıza olur.(sitede php çoğunlukta olduğu için yazdım)

Java, Python veya C# ile daha efektif olur bu tür işler.