Hocam not defteri ile kendin de oluşturabilirsin.

Örnek, hatasız bir robots.txt içeriği buyur. İçerisinde robotun ziyaret etmesini istemediğin sayfaları veya site haritanı belirtebiliyorsun.


User-agent: *
Disallow: /js
Disallow: /images
Sitemap: http://www.cizgi.site/site-haritasi.xml