Panel şart değil tabi ki... ama yarın bir sorun olduğunda, bir ayar yapman gerektiğinde, bir yerlere müdahale etmen gerektiğinde, görsel bir arayüzün olmadığı için bunları komutlar ile çözmen gerekecek. Sunucu komutlarını bilmiyorsan, aşina değilsen bu seferde sağdan soldan komut arayıp duracaksın.
Bir diğer nokta, Wordpress komut ile kurmak içinde linux bir işletim sistemi ve içerisine kurulmuş çalışır vaziyette apache, mysql, php, ssl gibi şeylerin olması gerek. Yani anlayacağın bunları her halükarda kurman gerekecek eğer panel kurmazsan.