Merhaba,

Arkadaşlar yandex'de sağlıklı bir index almak istiyorsanız robots.txt dosyasınızı düzenlemeniz gerekiyor. Yandex diğer arama motorlarına nazaran robots.txt dosyasına çok önem veriyor ve burada ki direktiflere göre sitenizi tarıyor.

Diğer arama motorları için robots.txt'de ekstra bir bildirim yapmadan siteniz indexlenirken yandex'de durum farklı.

Örnek olarak wordpress altyapsında ki blogumun robots.txt dosyasını inceleyebilirsiniz. Orada dikkat etmeniz gereken iki şey var ;

1. Sitemap: kısmı en sonda olmalı yandex için
2. Host: kısmı bulunmalı sitenizin barındığı hosting firmasının url adresini belirtmelisiniz. Ne gerek var bilmiyorum buna ama yandex bunları istiyor :)

https://huseyinkorbalta.com/robots.txt

Detaylı bilgi :
https://yandex.com.tr/support/webmaster/controlling-robot/robots-txt.xml