O kolay yolu aradım aradım bulamadım. Sonra bunu nasıl yapıyorduk diye arkadaşa sordum. Meğer All in one seo eklentisinin bir özelliğiymiş. Şu an Yoast kullandığım için bulamamışım.

All in one seo kuruluysa yazıya tıklayın en aşağı inin nofollow seçeneğini tıklayın. Yoast'ta, eklenti düzenleme kısmında sol taraftaki çarka tıklayın, orada "Should search engines follow links on this?" yazan kısımda Yes ve No diye iki seçenek var. No'yu işaretleyin. No follow yaptığınız kalitesiz içerikleri search console'dan Urlleri kaldır seçeneğinden de kaldırırsanız kısa sürede bir aşama kaydedersiniz. -Tabii diğer düzeltmelere ek olarak-