Yani şimdi bunu kullananlar , google sıralamalarında sitelerinin görülmesini mi engelleyecek. Yanlıs mı anladım acaba
Robots.txt ile site içeriğinde bulunan tüm dosyalardan, hangilerinin arama motorları tarafından indekslenerek görünmesini istediğinizi (allow) ve istemediğinizi (disallow) belirlersiniz.