Şu plugin istediğin görevi yapıyor yalnız Wordpress'in son versiyonuyla uyumlu mu bilemiyorum.

https://tr.wordpress.org/plugins/hikari-category-permalink/