User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

şunu koyda bir işe yarasın private denilen kısma admin paneli yolunu yazabilirsin ya da images yerine google da aranınca görülmesini istemediğin bir klasör yolunu.

sitemapı eğer içeriğin küçük ise http://www.xml-sitemaps.com/ dan oluşturabilirsin olmazsa pm at başka link vereyim kirletmeyelim burayı.