Youtube'dan direkt videonun url'sini alan bir bot yapabilirim. Böylece yüklenecek olan iframe hızınızı düşüremez. İstediğiniz playerde de oynatırsınız.

Yada ikinci bir yöntem illede iframe olacak derseniz:
Js after page load özelliği ile sayfa yüklendikten sonra yüklenmesini sağlayabilirim. Bir projemde kullanıyordum. Uzak 2 siteden veri çekiliyordu. Haliyle bu siteyi baya yavaşlatıyordu. Bende after load ile sayfa yüklendikten sonra js ile çağırttırıyordum. Sayfa yüklenme hızını neredeyse hiç etkilemiyordu.