Merhaba,
vBTBilisim'de dediği gibi sunucu ve kodlardan kaynaklıdır.
Tabi asıl önemli unsur olan sunucudur bu nedenle ilk yapmanız gereken hızlı bir sunucuya geçmeniz.
Daha sonra Js ve css dosyalarınızı optimize etmeniz.
Bkz : http://www.genelfrm.com/konu-javascript-ve-css-sikistirma-optimize-etme.html
Kodları optimize etmeniz biraz da olsa fark edecektir ama en önemlisi sunucudur.