Selamlar.
Eklentisiz cache edilmesi wordpress çalışma sistemine aykırı.
Fakat hangi eklentileri kullandığınızı söylerseniz ve site adresinizi paylaşırsanız yavaşlığın sebebi olan eklentiyi tespit edebilirim.