Wordpresste ana dizinde robots.txt dosyası mevcut değil ama url de robots.txt adresini açtığımda açılıyor bu nasıl oluyor.
public_html içinde ana dizinde robots.txt dosyası yok fakat site.com/robots.txt girdiğimde çıkıyor. Nasıl düzenleyebilirim bu dosyayı? Bir de google'un resimleri daha çok indexlemesi için robot dosyasında neler yapabilirim? yüklenen resimler wp-content/uploads klasöründe değil. cdn.site.com/haber klasöründe.
Mevcut robots.txt dosyam şu şekilde.
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://www.site.com/sitemap.xml 