indexlenmemesini istediğin bir link varsa kullan

Yoksa şu kullan yeter

Yararı : robotları yönlendiriyorsun,şunu indexle bunu indexleme gibi

User-agent: *
Disallow:

Sitemap: http://site.com/sitemap.xml