Robots.txt dosyası sayfaların index almasını engellemez, onların taranmasını engeller. Fakat o sayfalara bir yerden bağlantı varsa, sayfaların taranması robots.txt dosyasından engellense bile dizine eklenebilir. Sayfaları dizinden çıkartmanın tek yolu noindex kullanmaktır.
Aşağıdaki kodu htaccess dosyanıza ekleyin. Muhtemelen index.php? ile başlayan tüm sayfaların HTTP üst bilgisine noindex,nofollow eklenecektir.
Aşağıdaki kodu htaccess dosyanıza ekleyin. Muhtemelen index.php? ile başlayan tüm sayfaların HTTP üst bilgisine noindex,nofollow eklenecektir.
Header set X-Robots-Tag "noindex, nofollow"
Teşekkür ederim, bu kodu ekleyince normal .index.php malum wp nin ve tüm php sistemlerin ana sayfa çağırması için kullanılan sayfa, sorun çıkar mı dersiniz ?