site haritası oluşturup robots.txt sonunda site haritası linkini belirtip sunucunuza yüklerseniz site haritaları sıkıntısı pek yaşamazsınız.
Faydası budur. (Amaçta budur zaten)
Google bir arama motorudur ve kendisinin bile robots mevcuttur.
https://www.google.com.tr/robots.txt
En alta bakarsanız;Sitemap
Sitemap: http://www.gstatic.com/culturalinstitute/sitemaps/www_google_com_culturalinstitute/sitemap-index.xml
Sitemap: http://www.gstatic.com/earth/gallery/sitemaps/sitemap.xml
Sitemap: http://www.gstatic.com/s2/sitemaps/profiles-sitemap.xml
Sitemap: https://www.google.com/sitemap.xmllinklerini görebilirsiniz.