En uygun robots.txt dosyası ?

Öncelikle merhabalar. Wordpress için en uygun robots.txt dosyası ne şekilde olmalıdır ? konuya hakim arkadaşların yardımlarını bekliyorum.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/

Sitemap: https://www.siteadi.com/sitemap.xml.gz
Sitemap: https://www.siteadi.com/sitemap.xml

böyle kullanmanı öneririm

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Ayrıca site haritası ekleyebilirsiniz.

Niye aynı sitemap dosyasını iki defa ekliyor ki ? Sonuç olarak ikiside aynı. Sadece birisi sıkıştırılmış versiyonu, diğeri sıkıştırılmamış. Sadece sıkıştırılmışı eklese yeterlidir. Ayrıca Disallowdan sonra allow eklenmesine gerek yok diye düşünüyorum.

joetr1 en uygun sitemapa kendin karar vermelisin.

Dersen ki benim gizlim saklım yok, tüm herşeyin indekslensin.

Ozaman:
User-agent: *
Allow: /

Sitemap: sitemap adresin

Yeterlidir.

Gizlemek istediğim bazı kısımlar var! dersen;
User-agent: *
Disallow: /tag

Sitemap: sitemap adresin

Şeklinde kullanabilirsin.

İlk robots dosyasının açıklaması:

User-agent: (burada botu seçiyorsunuz. Örn: googlebot yazılabilir sadece. * koyarak tüm botları hedef alıyoruz)
Allow=İzin veriyorum, Disallow=İzin vermiyorum anlamlarına geliyor.

Allow: / <- Tüm dizini indeksle izin veriyorum demek. Aynı şekilde Disallow yaparsanız hiçbirini indeksleme demek.

Disallow: /tag
Disallow: /category

Gibi giriş yaparsan, tag ve category ile ilgili kısımları indeksleme. Onlar haricindeki herşeyi indeksle anlamına gelir.

.htaccess;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /readme.html

bendeki bu şekilde:

User-agent: *
Allow: /wp-admin/admin-ajax.php
Allow: /tag/
Allow: /page/
Disallow: /wp-admin/
Disallow: /wp-includes/

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: Bingbot
Allow: /

User-agent: MSNBot
Allow: /

User-agent: MSNBot-Media
Allow: /wp-content/uploads/

User-agent: Applebot
Allow: /

User-agent: YandexBot
Allow: /

User-agent: YandexImages
Allow: /wp-content/uploads/

User-agent: Slurp
Allow: /

User-agent: Baiduspider
Allow: /

User-agent: Baiduspider-image
Allow: /wp-content/uploads/

User-agent: DuckDuckBot
Allow: /

User-agent: Qwantify
Allow: /