Merhabalar sitelerimin robots.txt dosyası şöyle:

User-agent: *
Allow: /

Diğerlerinin ise şöyle:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap:

Veya böyle mi?

Sitemap:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /*?ref=
Disallow: /*?q=
Disallow: /*/comment-page

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Hangisi site ve arama motorları açısından daha iyidir?