"Robots.txt dosyası, Googlebot gibi bir web tarayıcı yazılımının sitenizdeki belirli sayfaları taramasını önleyen bir metin dosyasıdır."

Kaynak: https://support.google.com/webmasters/answer/6062608?hl=tr

Yani diyorki, Google aramalarında görünmesini istemediğiniz sayfalar varsa bu dosyaya yazın. Eğer herşey indekslensin derseniz böyle bir dosyayı hiç oluşturmayabilirsiniz.

Tabi sizin siteniz WP olduğu için /wp-admin/ gibi adreslerin indekslenmesi güvenik açığı oluşturabilir.