Wordpress'te arama motoru görünümü alanındaki tiki işaretleseniz bile bu robotların siteyi indekslemesini tamamen engellemez. Zaten altında da yazar. Bu bir tavsiye niteliği taşır sadece. Robots.Txt dosyasından komut vererek yapmak daha sağlıklı olur.
Bende şu şekilde biliyordum. Aklımda kaldığı kadarıyla.
Kaynak: https://support.google.com/webmasters/answer/6062608?hl=tr
robots.txt ne için kullanılır?
Genellikle Google tarayıcısının sunucunuzu çok fazla meşgul etmesini veya tarama bütçesinin, sitenizdeki önemsiz ya da birbirine benzeyen sayfaları taramak için harcanması istemezsiniz. Bu yüzden, resim olmayan dosyalar (yani web sayfaları) için robots.txt yalnızca tarama trafiğini kontrol etmek amacıyla kullanılmalıdır. robots.txt dosyasını, web sayfalarınızı Google Arama sonuçlarından gizlemenizi sağlayan bir araç olarak kullanmamalısınız. Çünkü sayfanıza bağlantı veren başka sayfalar olabilir. Bu durumda sayfanız, robots.txt dosyasına rağmen dizine eklenebilir. Sayfanızın arama sonuçlarında görünmesini engellemek isterseniz şifre koruması veya no index etiketleri ya da yönergeler gibi başka bir yöntem kullanın.
Robots meta etiketini kullanma
Robots meta etiketi, tek bir sayfanın dizine nasıl eklenmesi ve arama sonuçlarında kullanıcılara nasıl sunulması gerektiğini kontrol etmek için ayrıntılı, sayfaya özel bir yaklaşım kullanabilmenizi sağlar. Robots meta etiketini belirli bir sayfanın bölümüne şu şekilde yerleştirin:
(…)
(…)
Kaynak: https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag#robots-meta-etiketini-kullanma
Yalnızca Googlebot'un sayfanızı taramasını engellemek için, etiketi aşağıdaki şekilde güncelleyin:
Bu etiket artık, Google'a (diğer arama motorlarına değil) bu sayfayı web arama sonuçlarında göstermemesini bildirmektedir. Hem name hem de content özelliği büyük/küçük harfe duyarlı değildir.
Deneme yanılma işlemleri için Child temaları evet dediğiniz gibi güzel.
Birçok konuda olduğu gibi kod bilgimde yok. İnternette bazen gerçekten tam detaylı anlatım olmadığı için bu konuyu sitemde yayınlamıştım. Burada benimde hatalarım olmuş. Bazı yerlere bildiğim için es geçmem yeni wp kullanıcısı için eksik veya hatalı gibi duracağını fark ettim. Hatta konuda ki mesajlarda bu yönde olduğunu görmemi sağladı.
Tavsiyeniz güzel. Bir kaç konuyu sağlıklı şekilde araştırıp konuya eklemem gerektiği belli oldu.
Yinede meta tag ile index almaması sağlanılacağını zannediyorum.
Örnek bir sitem
site:sahifatema.com
sahifatema.com/genel/denemee/ (Bu sayfayı görmemiş.)