Robots.txt dosyası sayfaların index almasını engellemez, onların taranmasını engeller. Fakat o sayfalara bir yerden bağlantı varsa, sayfaların taranması robots.txt dosyasından engellense bile dizine eklenebilir. Sayfaları dizinden çıkartmanın yolu noindex kullanmaktır.
RewriteRule ^.*?route=.*$ https://www.sitem.com [R=301,L]