Robot.txt yi nasıl duzenlemem gerekiyor?

Merhaba arkadaslar.Gecen günlerde search console de robot.txt hakkında bir uyarı geldi ve duzeltmeye onay verilmem istendi.Ama sonrasında duzeltilemedigi söylendi ve şöyle bir uyarı geldi

Xxx sitesinde Kapsam sorunlarıyla ilgili düzeltmelerinizi doğrulamasını istediniz. İstenen düzeltme şu sorun içindi: 'Robots.txt tarafından engelleniyor olsa da dizine eklendi'.

Ancak, bazı sayfaların bu sorundan etkilenmeye devam ettiğini tespit ettik.

Neden böyle bir uyarı alıyorum.Robot.txt yi nasıl duzenlemem gerekiyor? Yardımcı olursanız sevinirim.Bu arada altyapı blogger

Kapsam sorunu şudur; Google her bir sayfayı indexleyemezse eğer engel görürse kapsam sorunu var diye uyarı atar. Yani sitenizde bazı sayfalar indexe kapalı olabilir. Ondan bu uyarıyı vermiş olabilir.