yavuzselim57 ,
Tam olarak anlayamadım ne demek istediğinizi...
Kendi IP adresinizi, "bu IP giremesin" olarak mı ayarladınız?
Eğer tam tersi ise durum, yani kendi IP adresinizi "sadece bu IP girebilsin" olarak ayarladıysanız IP adresiniz değişmediği sürece sunucuya zaten erişim sağlayabilirsiniz.
Ayrıca ayarlamayı nasıl yaptınız, iptables üzerinden kural mı eklediniz?
Birinci seçenekse yardımcı olabilirim sanırım, ikinci seçenekse zaten sunucuya siz hariç kimse giremez. :)