Robots ile bir urlyi nasıl indexten çıkarırız ?

04.02.2019 21:02

gokturkk Freelancer Kullanıcı

Üyelik 31.07.2012
Yaş/Cinsiyet 45 / E
Meslek Freelancer
Konum Ankara

Ad Soyad M** G**
Mesajlar 581
Beğeniler 109 / 108
Ticaret 10, (%100)

Eski yazılımdan kalan saçma bir index yapısı google dizinde mevcut. aşağı yukarı 400 küsür link dizinden kaldırma isteği ile halettim ama sonra geri geliyorlar. Bu kalkan linklerin hepsinde yapı index.php?route=product/category&path=94 şeklinde ilerliyor.

Robots.txt içine nasıl bir kod eklemem gerekiyor bu tip index.php? ile başlayan hiç bir robotlar içeriğe analiz ve tarama yapılmasın.

Şunu kullanıyorum;

Disallow: /index.php?route=product/search&tag=

Disallow: /*index.php?route=product/search&tag=

Disallow: */index.php?route=product/search&tag=

Disallow: /*?

Disallow: /*index.php?route=

Disallow: /*index.php?

Siz Çoksunuz. Biz Türk !

04.02.2019 21:34

#2

cihaneken Üyeliği Durdurulmuş Banlı Kullanıcı

Üyelik 25.07.2014
Yaş/Cinsiyet 31 / E
Meslek Elektrik Teknisyeni
Konum Fransa

Ad Soyad C** E**
Mesajlar 3508
Beğeniler 488 / 1190
Ticaret 1, (%100)

Robots.txt dosyası sayfaların index almasını engellemez, onların taranmasını engeller. Fakat o sayfalara bir yerden bağlantı varsa, sayfaların taranması robots.txt dosyasından engellense bile dizine eklenebilir. Sayfaları dizinden çıkartmanın yolu noindex kullanmaktır.



RewriteRule ^.*?route=.*$ https://www.sitem.com  [R=301,L]

1 kişi bu mesajı beğendi.

04.02.2019 21:53

#3

gokturkk Freelancer Kullanıcı

Üyelik 31.07.2012
Yaş/Cinsiyet 45 / E
Meslek Freelancer
Konum Ankara

Ad Soyad M** G**
Mesajlar 581
Beğeniler 109 / 108
Ticaret 10, (%100)

cihaneken adlı üyeden alıntı

Robots.txt dosyası sayfaların index almasını engellemez, onların taranmasını engeller. Fakat o sayfalara bir yerden bağlantı varsa, sayfaların taranması robots.txt dosyasından engellense bile dizine eklenebilir. Sayfaları dizinden çıkartmanın tek yolu noindex kullanmaktır.

Aşağıdaki kodu htaccess dosyanıza ekleyin. Muhtemelen index.php? ile başlayan tüm sayfaların HTTP üst bilgisine noindex,nofollow eklenecektir.







  Header set X-Robots-Tag "noindex, nofollow"

Teşekkür ederim, bu kodu ekleyince normal .index.php malum wp nin ve tüm php sistemlerin ana sayfa çağırması için kullanılan sayfa, sorun çıkar mı dersiniz ?

Siz Çoksunuz. Biz Türk !

04.02.2019 23:41

#4

cihaneken Üyeliği Durdurulmuş Banlı Kullanıcı

Üyelik 25.07.2014
Yaş/Cinsiyet 31 / E
Meslek Elektrik Teknisyeni
Konum Fransa

Ad Soyad C** E**
Mesajlar 3508
Beğeniler 488 / 1190
Ticaret 1, (%100)

Evet haklısın Wordpress'de sıkıntı olabilir. Kodu yeniledim.
Wordpress'de mesela aşağıdaki htaccess komutu ?route= ifadesini yakaladığında belirtilen adrese 301 yönlendirme yapıyor. Buda sayfa taşındı demek oluyor.

RewriteRule ^.*?route=.*$ https://www.sitem.com [R=301,L]

1 kişi bu mesajı beğendi.

04.02.2019 23:44

#5

gokturkk Freelancer Kullanıcı

Üyelik 31.07.2012
Yaş/Cinsiyet 45 / E
Meslek Freelancer
Konum Ankara

Ad Soyad M** G**
Mesajlar 581
Beğeniler 109 / 108
Ticaret 10, (%100)

Zahmetleriniz için teşekkür ederim. Bu kodu deneyeyim. En azından revrite eklentisini kullanmadan sorgusuz çözmüş oluruz :)

Siz Çoksunuz. Biz Türk !

Robots ile bir urlyi nasıl indexten çıkarırız ?

Üye Girişi Yap