önceden indekslenmişse, başka sitelerden sayfalarınıza link varsa (google oradan gelip indeksler) gibi benzeri durumlarda robots.txt engellemesi çalışmaz, robots.txt indekslenen sayfaları dizinden kaldırmaz,

indeksli sayfaları dizinden kaldırmak için sayfayı robots.txt de allow yapıp, meta etiketi ile noindex uygulamanız gerekir