web sitenizin ana dizininde, web robotlarına tarama kurallarını belirten robots.txt adında bir dosya olması gerekiyor. Yoksa oluşturulması gerekiyor.
bu dosyanın www.siteadi.com/robots.txt adresinden ulaşılabilir olması gerekiyor.

Daha fazla bilgi için:http://www.robotstxt.org/robotstxt.html