Robots.txt Nedir ?
2019 WordPress İçin En iyi Robots.txt Dosyası website arama motorlarınınbotları vs arama tarama botlarını engelleyen izin veren bir hizmettir. Robots.txt, web sitelerinin sayfalarının nasıl taranacağını arama motorlarına açıklamak amacıyla oluşturulmuş metin dosyalarıdır. Robots.txt dosyası, REP’in (robot dışlama protokolü) bir parçasıdır. REP, robotların web sitenizi nasıl taradığını, içeriğinize nasıl erişilebileceğini ve içeriklerinizin dizine nasıl eklenebileceğini belirleyen bir grup web standardı olarak tanımlanabilir. Ayrıca REP, meta robotlar gibi talimatların dışında, motorların bağlantılara karşı nasıl davranması gerektiğiyle ilgili sayfa, alt dizin ya da site bütünü hakkında talimatlar da içerir.
Yukarıdaki tanımdan sonra Kısa Kısa cümlelerle tanım yapalım
User-agent: [İlgili web tarayıcılarının listesidir.]
Disallow: [URL dizesi taranmamalı.]
Allow: [URL dizesi taranmalı]
Yukarıdaki tanımlar botlara ne yapılmasını gerektiğini belirtir. hadi şimdi nasıl wordpress için en iyi seo açısından en güzel robots.txt dosyasını yapalım
Benim kendi seo için yaptığım güzel bir robots.txt dosyasıdır.
Eğer WordPress kullanıyorsanız kesinlikle tavsiye ederim
User-agent: *
Sitemap: https://mdsal.com/sitemap.xml
Sitemap: http://www.google.com/ping?sitemap=https ://mdsal.com/sitemap.xml
Disallow: /wp-admin/
User-agent: ahrefsbot
Allow: /wp-content/uploads/
User-agent: Twitterbot
Allow: /wp-content/uploads/
User-agent: Mediapartners-Google*
Allow: /wp-content/uploads/
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /wp-content/uploads/
User-agent: Googlebot-Mobile
Allow: /wp-content/uploads/
Peki Bu tüm işlemleri yaptık ama index sayfamızda bunları nasıl tanıtacağız botlara
hemen şu işlemi yapıyoruz
index.php içini açıyoruz
1- // Bu kısımda (Follow) Botları çağırır ve İndexler
2- // Bu kısımda (Follow) Botları çağırır ancak Sayfayı indexlemesini engeller
Ben 1. Kısımdakini ekledim
[head]
// Bu kısımda (Follow) Botları çağırır
[/head]
ekle ve kaydet bu kadar
Google search Console Robots.txt Hatası Çözümü
Çoğu Websitenin robots.txt dosyasında hata alırlar sebep olarak noindex işaretli hatasınıdır.
Bunun Çözümü Yukarıda head kısmına eklenen meta’da dır.
// Bu kısımda (Follow) Botları çağırır.
kırzı kısımla gösterdiğim yer noindex olursa hata alırsınız. Bu yüzden index yapmanız gerekir.
İlgili Makalem :2019 WordPress İçin En iyi Robots.txt Dosyası | Google search Console Robots.txt Hatası Çözümü
