Robots.txt dosyası atmalısın sunucu ana dizinine..

https://www.seohocasi.com/robots-txt-yapimi/

Buradaki makaleyi okuyun. kafanız karışırsa, 1 nolu örneği kopyalayın, not defteri açın yapıştırın ve farklı kaydet seçin, adını Robots.txt olarak belirleyin, sunucu anadinize atın.