https://www.google.com/amp/s/www.hostinger.web.tr/rehberler/wordpress-robots-txt-nedir-detayli-anlatim/amp/

Buradan öğrenildi. Başka arkadaşlara yardımcı olur diye link bıraktım.