sitemap.xml bir zorunluluk zaten. Mesela bendeki MediaWiki'de sitemap konusunda biraz zorluk var. Fakat ben bile bunu yaptım. Sonuçta Vikipedi gibi google bize tolerans tanımıyor. Robots.txt ise google tarafından yalnızca sitedeki belirli sayfaların taranması gerekmiyorsa kullanılması öneriliyor. Aksi durumda "Google'ın sitenizin tamamını dizine eklemesini sağlamak için (boş bile olsa) robots.txt dosyası oluşturmayın." deniliyor. Ben genelde Google'ın söylediklerine uyarım :)