Arkadaşlar merhaba.

robots.txt dosyası hala geçerliliğini koruyor mu ?
Siteme atsam faydası olur mu ?
Sitemin tüm botlar tarafıdan ziyaret edilmesini ve hiç bir kısıtlama olmamasını istiyorum.
Nasıl bir robots dosyası olusturmalıyım ?
Ayrıca sitemap eklemek gerekir mi ?

4.2.3 versiyon vbulletin sitemiz var.