wp-admin > Görünüm > Bileşenler kısmından kaldırabilirsin. Tabi eğer bileşenlerden eklendiyse. Bir oraya bak, orada değilse sidebar.php'ye kod ile eklenmiş demektir.