konular kapalıysa google botları misafir olarak giriyor konuları göremez ki O.o mesela bendede üye profilleri kapalı 14.200 indexim var ama üye nicklerini yazdığım zaman çıkmıyor.
Arkadaşlar Mybb sisteminin standar olarak verdiği robots.txt dosyası bu:
Sitemap: http://forum.novacep.net/sitemap-index.xml Sitemap: http://forum.novacep.net/misc.php?google_seo_sitemap=index User-Agent: * Disallow: /captcha.php Disallow: /editpost.php Disallow: /misc.php Disallow: /modcp.php Disallow: /moderation.php Disallow: /newreply.php Disallow: /newthread.php Disallow: /online.php Disallow: /printthread.php Disallow: /private.php Disallow: /ratethread.php Disallow: /report.php Disallow: /reputation.php Disallow: /search.php Disallow: /sendthread.php Disallow: /task.php Disallow: /usercp.php Disallow: /usercp2.php Disallow: /calendar.php Allow: /