Bir arama motoru botu siteye girerken ilk olarak robots.txt dosyasına bakar
mantıken öyle olmalı zaten
google nereyi indexleyeceğine robots üzerinden bakar
asıl soru: ya robots yoksa?