j700 Yorum kısmında belirttiğim gibi robotlara "ne bulursan indeksle" talimatı veriyor. Belirli bir klasörü veya dosyayı indekslemesin istiyorsan altına şu şekilde ek yapabilirsin:

Disallow: /ozel-klasor/
Disallow: /ozel-dosya.php

Dosyayı ana dizine yüklemen gerekiyor yani http://sukrubeyotel.com/robots.txt yazdığında çıkmalı. Başka birşeye gerek yok.

Site map burdan anlatılmayacak kadar ayrıntılı. Google'da örneklerini bulabilirsin.