Sunucu kaynaklı bir problem yoksa öncelikle yapmanız gereken çalışma Gzip sıkıştırmasıdır ? Gzip sıkıştırmasını eğer yapmadıysanız yapın. Google' da ilgili makaleler mevcut.
Siteniz yine de yavaşsa hosting paketinizi yükseltmeniz gerekebilir.