Google'da bahsedilen robots.txt güncellemesi ile Robots.txt üzerinde " Noindex: " etiketi kalkıyor. Disallow: karıştırılmasın.

Örnek;
Noindex: /ornek-sayfa/

geçersiz olacak.

Yerine;

Disallow: /ornek-sayfa/

kullanabilirsiniz.