Disallow = botların indexlemesini engeller
Allow = botların indexlemesine izin verir.

Botlar indexlesin istiyorsanız yukarıda belirttiğiniz koddaki Disallow: seçeneğini Allow: olarak değiştirin.