User-agent: *
Disallow: /
Sitemap: http://www.xxxx.com
yukarıda yazdığım gibi bir robots sitenizdeki tüm dosyaları taranmasına izin verir. Eğer sitenizde engellemek istedigiğiniz dosyanız varsa Disallow: /dosyaadı/ buşekilde kısıtlayın
Disallow: /
Sitemap: http://www.xxxx.com
yukarıda yazdığım gibi bir robots sitenizdeki tüm dosyaları taranmasına izin verir. Eğer sitenizde engellemek istedigiğiniz dosyanız varsa Disallow: /dosyaadı/ buşekilde kısıtlayın
User-agent: *
Disallow: /
Disallow: /?ref=
SITEMAP: http://www.xxxxxxx/oyunlar.xml
SITEMAP: http://www.xxxxxxxxxxx/kategoriler.xml
SITEMAP: http://www.xxxxxxxxxxx/sitemap.xml
böyle olursa? her şeyi tarar peki bu ref nedir? onu anlamadım tam olarak.