Merhabalar;

Robot txt dosyanız yoksa da siteniz Google tarafından index alır. Tüm her kısım taranır.Robot dosyanızı oluşturursanız taranmak istemediğiniz kısımları ekleyebilirsiniz.

Ancak robot dosyanızın içine sitemap url adresinizi eklemenizi öneririm.