Benimde siteye ilk giriş ile ilgili hız problemim vardı buraya konu açmıştım;
https://wmaraci.com/forum/wordpress-sorunlari/site-hizi-sorunu-536398.html

Genel olarak sağolsunlar tavsiyelerde bulundular. Optimizasyon ile ilgili durumlar a3 Lazy Load ve Litespeed ile hem mobil hem masaüstünde %90 lara çıktı tavsiyeler üzerine.

Sizin ki temadan da dolayı olabilir diye düşünüyorum.