Analiz verilerine göre site iyi, aşırı bir eklenti sayınızda yok, günün belli bir saatinden kastınız hitin yoğun olduğu vakitlermi yoksa normal devam ederken mi bu sorun meydana geliyor ? Şahsi görüşüm sorun sunucu kaynaklı, büyük ihtimalle o saatlerde bir yoğunluk olmakta yada sunucu bünyesinde yedekleme yada başka işlemler gerçekleşmekte, keza zaten paylaşımlı sunucuda bir hostinginiz varsa başka yerde sorun aramaya gerek yok.
Kullandığın cache eklentisi zaten hızlanması için güzel bir etken, en fazla yapabileceğiniz wordpress'in kendi içindeki php sorgularını azaltman olacaktır.
Evet genelde sabahları oluyor ama istisnasız oluyor yani bir sabah kalktığımda şaşırtmıyor beni.... Bazen de gün içinde hosting firması çaktırmıyor ama yedekleme filan derken arada kastırıyor siteleri galiba.