Hocam Robots.txt bildiğiniz üzere index almasını istemediğiniz sayfalar için kullanabildiğiniz birşey. Dolayısıyla içerisine ekleyeceğiniz sayfalar size kalmış. wp-admin, wp-includes v.b sayfaları ekleyebilirsiniz.