Disallow: /tag/ kullanmama rağmen etiketlerim indexlenmiş

Son3-4 aydır bu şekilde olan robots.txt dosyamda hiçbir değişiklik yapmadım.

Ama bugün tesadüfen etiketlerimin indexlendiğini fark ettim.

site:ciplakyazar.com/tag şeklinde aradığım zaman google üzerinde 14 sayfa etiket çıkıyor.

Sorun neden kaynaklı olabilir ve bu etiketleri aramalardan nasıl çıkarabilirim?

İyi bir şey aslında indekslenmesi... Etiketlerden korkmayın bu kadar... Engellemeyin, çok işe yarar indekslenmesi...

Şunu anlamıyorum, arama motorlarının indekslememesi gereken admin klasörleri var tamam, açıkta olan bir şeyin indekslenmemesini istemek nasıl bir düşüncedir. Bir arama motoru, gelip sitenizde bir etiket buluyor, ama siz bunun bulunmaması için çaba sarfediyorsunuz.

Gizli siteler dot com açmak lazım... :)

Hocam yanlışınız var.

Siz google da ne kadar indexim olursa o kadar iyi mantığıyla yaklaşıyorsunuz.

Ben etiketlerin indekslenmesi mantığıyla yaklaşıyorum. :)

Etiket indekslemenin doğru olmadığını düşünüyorsanız. Google ve diğer arama motorları ile bir işiniz olmadığına ikna olmuşsunuz demektir.

Sitenizi hangi arama motoruna göre optimize ediyorsunuz? Google mı?
Evet ise, neden Google ın kriter ve şartlarına karşı davranma çabası içerisindesiniz anlamıyorum.

Sitenizde Google Analytics kodunuz var mı?
Evet ise; Google webde dolaşan tüm sitelerin taranabilmesi için bir kod türevi geliştirdi. Google Analytics. Bu kodu her kullanıcı için tüm sayfalarda kullanılmasını istedi. Bu kod ile tüm sayfalar artık webspiderlar tarafından ziyaret edilebilecekti ve bunun grafiklerini site sahibine sunabilecekti.
Zaman geçti ve Analytics bir adım ileri giderek, Tag Manager (Etiket yöneticisi) kodlarınında sitelerde bulunmasını istemeye başladı. Fakat kod yapısı da Analytics gibi olunca sayfaya minimum yük için sadece "gtag" etiket kodu olarak bunu kısalttı ve Analytics koduna entegre etti.

Bu ne anlama geliyor. Analytics kodları sitenizin Google da kayıtlı olduğunu gösteriyordu. Google Analytics size bunun grafiklerini sunuyordu. Ama "gtag" işin boyutunu değiştirdi. Sayfa içi etiketler ile sayfaları birbirine bağladığınızda sitenin ziyaret edilme ve sitede uzun durma oranlarının arttığını gördüler. Bu nedenle Etiketler site içi linkleme, sayfada uzun kalma, sayfadan sayfaya geçiş yapma gibi bir çok özelliği bir arada bulunduruyor.

Etiketlerinizi Seoya uygun (aynı sayfalarınızda yaptığınız seo çalışması şekli ile) düzenleyin. Her sayfada ortalama 4 etiket, 1 site içi link ve 1 dış link ile desteklemenizi tavsiye ederim.

Eğer noindex yapmak istiyorsanız kullandığınız SEO eklentisinden etiket sayfalarını noindex yapmalısınız. Robots.txt noindex için kullanılmamalıdır.