Botların gezmemesi için bazı alanlar robots.txt 'de engellenmiş robots.txt yi açarak engelin kalkmasını istediğiniz sayfaya

Allow: /index.php

gibi düzenleyerek engeli kaldırabilirsiniz.