İndexlenmesini istiyorsanız disallow yerine allow yazarak googlenin indexlenmesini sağlayın. Genellikle robots.txt disallow için yani görünmemesi gereken dosyalar için gereklidir. Admin, css vs.