Root klasörünün(www) içinde gerekir. Yoksa siz oluşturup atınız. Notepadde bi dosya oluşturun robots.txt diye kaydedip atın ftpye. İçine bu kodları ekleyebilirsin. Eğer Wordpress Kullanıyorsan.

Ek Olarak:

Robots.txt Son hali :

User-agent: *
Allow: /
Disallow: /*ref*
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes

User-agent: Googlebot-Image

Sitemap: http://www.xxx/sitemap.xml