Analiz verilerine göre site iyi, aşırı bir eklenti sayınızda yok, günün belli bir saatinden kastınız hitin yoğun olduğu vakitlermi yoksa normal devam ederken mi bu sorun meydana geliyor ? Şahsi görüşüm sorun sunucu kaynaklı, büyük ihtimalle o saatlerde bir yoğunluk olmakta yada sunucu bünyesinde yedekleme yada başka işlemler gerçekleşmekte, keza zaten paylaşımlı sunucuda bir hostinginiz varsa başka yerde sorun aramaya gerek yok.

Kullandığın cache eklentisi zaten hızlanması için güzel bir etken, en fazla yapabileceğiniz wordpress'in kendi içindeki php sorgularını azaltman olacaktır.