$('#video').remove(); şeklinde yapmanız daha yararlı olabilir. Videoyu durdurduğunuzda hala video yükleniyor olabilir, bu da gereksiz veri kaybı.