xml sitemap için zaten.Sen sitemap oluşturcaksın sitenin linkleri bildirceksin botlara.robot.txt ilede gel bak diceksin :)

Sitemap oluşturan sitelere bak.Sitemap oluştur.Sonra siteana dizinine at.

http://yardim.yandex.com.tr/webmaster/?id=1119333
şu yararlı olucaktır.