https olmadan zaten 301 yönlendirmesi yapacağı için gayet normal bir durum. HSTS header ekleyerek bu sorunu bir nebze çözebilirsiniz (yönlendirme sorunu) ama yeni ziyaretçilerinizi etkilemeyecektir, sadece eski ziyaretçiler sitenize tekrar girerken tarayıcılarına direk '' siteadi.com '' yazdığında otomatik https:// ekleyecektir ama dediğim gibi sadece eski ziyaretçiler için.
Bence sunucu yanıt süreniz gayet iyi.