301 yönlendirme yapın.

https://tr.wordpress.org/plugins/simple-301-redirects/

tabi yoast seo nun paralı sürümünde bu işleri kendisi hallediyor.