Eklentilerden kaynaklanıyordur. Bendede aynı sorun vardı, neredeyse tüm eklentileri kaldırdım, şuan ışık hızında çalışıyor site. Tabi cache eklentiside kullanmanız lazım. Ayrıca admin barıda kaldırırsanız site eskiye nazaran daha çok hızlanır.