enerjiveguc birçok sitenin robots.txt'sini incelediğimde böyle olduğunu gördüm. İdeal robots.txt örneği nasıl olmalı ?
Çok özellikli bir kodlamaya gerek yok aslında, harici eklentiyede gerek yok. Eğer sitenizde YOAST var ise;
YOAST>Araçlar>Toplu Düzenleyici de robots.txt standart formunu göndererek bu durumu aşabilirsiniz.