merhaba arkadaşlar,

html sayfalarda robots.txt kullanılmalımıdır? kullanılsa nasıl hazırlanmalıdır ?,
yararları nelerdir ,
teşekkürler...