Öncelikle bu iş için mysql yanlış bir tercih. Gelelim sorununuza.

Bu kadar yoğun bir veri girişinde, her veri için bir sorgu çalıştırıyorsanız problemi sunucu gücüyle çözemessiniz.

Tahminimce her yeni veri için bir insert sorgusu çalışıyor, bunun yerine crawler ile tüm sayfaları tarayıp sql stringe çevirip tek bir sorgu ile insert etmelisiniz. Muhtemelen yaşadığınız sorun bu.