Botlar bir yazıyı indexlemek için siteye girdiklerinde öncelikle sayfanın kodlama dilini araştırdıklarından sayfa uzantısını .html olarak belirterek sayfanın kodlama dili hakkında onlara bilgi veriyorsunuz ve işlemlerini hızlandırıyorsunuz , diğer türlü botlar sayfanın dil yapısını çözmek için vakit harcıyorlar...Bu arada kazanılan veya kaybedilen zaman farkı gelişmiş sitelerde pek etkisini gösteremese de yeni açılan sitelerde gözle görülür bir etki gösteriyor...
Bunun için sitemap yok mu ? Hadi onu da geçtim her seferinde taramaz ki ilk girdiğinde alınan ayarları kullanır her seferinde . :)