Hocam index almasını istemediğiniz sitenin sunucusunda ki robot.txt dosyasına gireceksiniz, index almasını istmediğiniz linke disallow komutunu vererek google örümcekleri siteni dolaşır index almak istemediğini görür ve o linki indexlemez