foxx adlı üyeden alıntı

Timur hocam görselleri ekliyorum. yandex'e ait robot txt dosyam olmadığını düşünüyorum. Bunun dışında 500 hataları 403 hataları tag'ler vb. sorunlara yönelik hatalar var.

yardımınızı bkeliyorum











Kendi robots txt dosyamı ekleyim hocam. Onu kendinize göre düzenleyin.


User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Host: http://siteadi.com
Sitemap: http://www.siteadi.com/sitemap.xml


Disallow: /wp-admin/ kısmı Wordpress olduğu için admin ve includes klasörlerini indexlemesini istemiyorum. O sebeple böyle yazdım.

Sitemap dosyasını da eklemenizde fayda var robots txt ye.
Robots txt deki bilginin dışında da sitemap ekleyin lütfen Yandex e

Yandex'in önerileri : https://www.yandex.com.tr/support/webmaster/controlling-robot/robots-txt.xml

403 hatası ile ilgili sadece http://destek.turhost.com/web-sitemde-403-forbidden-error-hatasi-goruntuleniyor/ dokümanını buldum düzgün şekilde anlatan. htaccess'i de kontrol etmende fayda var.