Ana dizindeki "robots.txt" dosyasında wp-admin, disabled olarak görünür yani indexlenmez. Admin paneli de bu klasörde olduğundan dışarıya link verdiğiniz görünmez ve seo açısından bir sorun oluşturmaz. Kaldırmakla hiç uğraşmayın, cms sistemini bozabilirsiniz bilginiz yoksa, kalsın yani :)