Robot.txt dosyası hakkında forumda araştırma yapıyordum.Bu konuda bilgim çok az maalesef.Aynı bu şekilde siteme ekledim.
Aşağıdaki kodlar doğru mudur ?
User-agent: *
Allow: /
Sitemap: http://serdarkaya.gen.tr/sitemap.xml.gz
Sitemap: http://serdarkaya.gen.tr/sitemap.xml
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /wp-content/cache
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /