Merhaba,
SSL'den kaynaklı bir yavaşlama olmayacaktır. Çünkü, ssl http2 teknolojisini kullanmaktadır ve bu teknoloji http isteklerini daha hızlı yorumlayıp, ulaştırabilen bir teknolojidir haliyle ssl sitenizi yavaşlatmayacaktır.
Sitenizin yavaşlamasına sebep olan en büyük etken sitenizin içeriğidir. CSS,Javascript, Resim, Eklenti ve dışardan başka sitelerden çağrılan dosyalar vb bunlar yüklenmeyi geciktirme yapıyordur. Tek tek analiz edip, hangi dosyanın veya dosyaların açılışı yavaşlattığını tespit etmek gerekiyor.
Google pagespeed insight ve gtmetrix araçlarını kullanarak sorunlarınızı çözebilirsiniz. Gördüğüm kadarıyla sitenizde cache eklentisi kullanmıyorsunuz, css ve javascript dosyalarınız sıkıştırılmamış haliyle olduğu gibi yüklemeye çalışıyor.
Wordpress için bir cache eklentisi kurun, önerim WP Fastest Cache eklentisidir.Ayrıca, dns'leriniz sanırım tam oturmamış,birkaç sorun mevcut dns kayıtlarınızda ve bundan kaynaklıda olabilir yavaşlama.