Yandex arama motorunun Robots.txt kullanımı için gerekli linke bakmışınız.
Robots.txt dosyanın oluşturma mantığı sitelerde gereksiz alanlar vardır ve bu alanları arama motorları tarafından indexlenmesini veya indexlenmemesini yönetmenizi sağlar.
Örnek bir yandex için robots.txt dosyası aşağıdaki gibi gösterebilirim.
User-agent: Yandex #
Disallow: /yasakli.php
Allow: /Bunu robots.txt dosyasına eklersem Yandex botları için yasakli.php dosyasını indexlenmemesini söylüyorum ve yasakli.php dışında tüm dosyaların indexlenmesini söylüyorum.
Sorunuz olursa bildiğim kadarıyla yardımcı olabilirim.
İyi günler.