Robots.txt dosyası kullanmanıza gerek dahi yok. Artık eski işlevini yitirmiş, SEO üzerinde doğru kullanımın faydası olmayan, ama yanlış kullanımda ciddi sorunlara neden olan demode bir şey sadece.
Dilerseniz buradan robotst.txt kullanımına dair çok detaylı açıklamayı okuyabilirsiniz.