Merhaba.
Bu sorunun sebebi network dayanmaktadır. TTL sayısı arttıkça ve latency yükseldikçe TCP misli ile etki etmektedir. HTTP yada HTTPS de TCP kullanmaktadır ve özellikle HTTPS de birde Şifrelemeden kaynaklı ekstra gecikme oluşmaktadır. TLS 1.3 ile bu gecikmelerin daha iyi konuma gelmesi için uğraşılmaktadır.
Burada bazı kullanıcılar CDN kullanmanızı önermiş fakat sizin hosting ile CDN arasında gecikme yükse bu da olumsuz etki oluşturacaktır.
Bu sorunu gidermek için hosting firmasını avrupa konumlu bir yerden seçmeniz gerekmektedir.
Daha sonrasında iyi bir optimizasyon ile sorunların ortadan kalkacağını düşünüyorum.

pingdom speedtest üzerinde https://ahmetozer.org ve https://www.dijitaller.com adreslerini test edebilirsiniz.