Eğer indexlenmemesini istiyorsanız robots.txt üzerinden bir işlem yapmaya gerek yok. Doğrudan noindex meta etiketini kullanırsanız garanti olarak o sayfalar/dizinler indexlenmez. Noindex nofollow şeklinde meta etiketi kullanacaksınız.