Robots.txt den /tag ları engelleme NASIL YAPILIR

Arkadaşlar manuel spam alan sitemde çok sayıda haber içeriğini kaldırdım. Şimdi tavsiye üzerine nasıl yapıldığını bilmediğim tag kaldırma işlemini yapacağım. Ardından yeniden değerlendirme isteği gönderceğim.

wmtoolstan Tarama - Robots.txt linkine giriyorum ama yapılacak işlemi bilmiyorum.
Tag kodu nedir onu da bilmiyorum. Kaldırılan binlerce haberin her birinin tag kodu mu var. Eğer öyleyse bunların hepsini nasıl kaldıracağım.

burada yapılacak işlem tam olarak nedir acaba?

wordpress mi kullanıyorsunuz?

kaldırma işlemini wm tools dan değil site üzerinden yapacaksınız.

Wordpres değil xpanel kullanıyorum tebilişim hocam

Web sitenizin FTP bölmünde site dosyalarınızın olduğu ana dizinde robots.txt dosyası var mı kontrol edin yoksa yeni bir tane oluşturun ismi robots.txt olacak ve içerisine aşağıdaki kodları ekleyin.

Aşağıda /tag/ yazan yer engelleme vazifesi görür, örneğin bu kod ile

www.site.com/tag/ dizinindeki herşeyin index alması engellenir.

mesela

site.com/tag/deneme-falan filan
site.com/tag/konu.html


gibi. Yani başınıza dert olan alanları engellemek için /engellenecekdizin/ şeklinde kullanmalısınız.

tek bir sayfa engellemek için ise /engel-sayfa.html şeklinde kullanmalısınız isterseniz birden fazla bölümü şu şekilde engellersiniz.

User-agent: *

Disallow: /engel-1/
Disallow: /engel-2/
Disallow: /engel-3/
Disallow: /enelle.html
Disallow: /engel.php

gibi gibi.



User-agent: *

Disallow: /tag/