Ssl yavaşlatmaz, ona bağlı olan etkenlerden kaynaklıdır.
Linkler mesela, resimler, vs..

Nerden çıkarıyorsunuz ssl yavaşlattı diye hemen yahu:)