Videolar için ücretsiz bir xml haritası yapamıyorsunuz maalesef. Sadece youtube vb videolar için yapabiliyorsunuz.

Ama All in One SEO'nun pro sürümünde bu özellik mevcut. https://semperplugins.com/all-in-one-seo-pack-pro-version/?loc=side