rkorkmaz adlı üyeden alıntı

birşey anlamıyorum ki orda yazanlardan :D neyse sağlık olsun


#Doğru şekilde oluşturulmuş robots.txt dosyası örneği
#Bu dosyanın işlenmesi sırasında Host yönergesi dikkate alınır

User-Agent: *
Disallow: /indexlenmeyecek dizin
Host: http://www.siteismi.com
Sitemap: http://www.siteismi.com/sitemap.xml

bakınız: http://yardim.yandex.com.tr/webmaster/controlling-robot/robots-txt.xml#host

Yukarıdaki şekilde değiştirebilir misiniz Robots.TXT dosyanızı