sitemap.xml bir zorunluluk zaten. Mesela bendeki MediaWiki'de sitemap konusunda biraz zorluk var. Fakat ben bile bunu yaptım. Sonuçta Vikipedi gibi google bize tolerans tanımıyor. Robots.txt ise google tarafından yalnızca sitedeki belirli sayfaların taranması gerekmiyorsa kullanılması öneriliyor. Aksi durumda "Google'ın sitenizin tamamını dizine eklemesini sağlamak için (boş bile olsa) robots.txt dosyası oluşturmayın." deniliyor. Ben genelde Google'ın söylediklerine uyarım :)
Aynen öyle fakat indexlenme sorununa bir yanıt üretemeyeceğiz sanırım :) WM tools yada diğer servislerdne gelen bir erişememe hatası da mevcut değil, server kaynaklı olabilir belki diye düşünmeden edemiyorum.