Zaten o dosyanın sizin tarafınızdan oluşturulması gerek. Google Webmasters bölümünden Robots.txt oluşturma bölümü, size sadece koymanız gereken kodların içeriğini verir. Sizde sitenize göre yaptığınız ayarları kopyalar bir metin belgesinin içine koyarsınız. İsmini "robots" yapıp kaydedip ana dizininize gönderdiğinizde Google, aralıklarla kontrolleri sonucu bu dosyanın varlığını algılayacaktır.