https://perishablepress.com/wordpress-robots-rules/

bu linkdekini kullanın