User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/plugins/

Sitemap: https://siteadi.com/sitemap.xml

Standart bu şekildedir, ancak duruma göre farklılık gösterir. Mesela, sitemap'in tek parça halinde olmayabilir. Yada arama motoruna çıkmasını istemediğin bazı klasörlerin-dosyaların olabilir. Onu kendiniz tespit edip "disallow" veya "allow" komutlarıyla ekleme yapmanız gerekir.