İzin ver = Allow
İzin verme = Disallow
Mantığıyla engelleyebilirsin.. örnek bir robots.txt içeriği
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /page/*
Disallow: /author/*
Disallow: /kategori/*
Disallow: /etiket/*
Disallow: /category/*
Disallow: /search/*
Disallow: /*ref=*
Disallow: /*?ref=*
Disallow: /?ref=*
Disallow: *?replytocom*
Sitemap: http://www.siteadi.net/sitemap.xml