Aynı olan URL adreslerini toplu silmek

Merhaba arkadaşlar elimde 500 satırlık bir liste var. Bu liste örnek vermek gerekise şu şekilde;

abc.com/deneme1
abc.com/deneme2
abc.com/deneme3
abc1.com/deneme4
abc1.com/deneme5
abc2.com/deneme5
abc2.com/deneme2


elimde bu şekilde karışık bir liste mevcut içerisinde yineleyen alan adları var fakat tam URL adresleri benzersiz toplu silme yapamıyorum yani. Benim isteğim ise yukarıdaki örnek üzerinden anlatacak olursam listenin son halinin şu şekile girmesini istiyorum;

abc.com/deneme1
abc1.com/deneme4
abc2.com/deneme2


bunu yapabilmem mümkün mü? Anlatabildim mi bilmiyorum ama cevaplarınızı bekliyorum :):) Teşekkürler, iyi çalışmalar

Ne yalan söyleyeyim, hiçbir şey anlamadım :(