Engellemek istediğin sayfalara noindex meta tag koy indexlenmesini istediğin sayfalara index meta tag kot.

Robots.txt içeriğinde şu şekilde kalsın

User-agent: *