301 yönlendirmesi yapabilirsiniz. .htaccess dosyanıza

Redirect 301 eski link yeni link.
Örnek:

redirect 301 /cantam-kapinin-arkasinda.html /cantam-kapinin-arkasinda/8596.html

biraz süre .htaccess dosyasında bu şekilde kalmasında fayda var.