robots.txt ile bunu halledebilirsiniz.
https://support.google.com/webmasters/answer/6062596?hl=tr