Google botları siteye geldiğinde ilk baktıkları yer site haritası ve robotx.txt dosyalarıdır. Bu dosyalarınızın var olması ve sorunsuz olması gerekmektedir.
Site haritanıza bakarak hiyarşi düzeni görüp sitenizi taramaları kolay olur.
Robotx.txt dosyanıza bakarak neleri tarayıp nelerin taranmamasından yola çıkarak devam ederler.

Malesef ki, sizin gibi robots.txt dosyasını kullanmayan bir çok kişiye rast geliyorum. Bu ve benzer küçük görünen ama çok büyük etken olan bu dosyaların doğru yapılandırılamaması ve ya olmamasından dolayı, sitelerine gösterdikleri özene, içerik sayılarının fazlalığına ve özgünlüğüne rağmen hit alamamalarına ve arama motorlarından yükselememelerine yol açıyor.