Eski yazılımdan kalan saçma bir index yapısı google dizinde mevcut. aşağı yukarı 400 küsür link dizinden kaldırma isteği ile halettim ama sonra geri geliyorlar. Bu kalkan linklerin hepsinde yapı index.php?route=product/category&path=94 şeklinde ilerliyor.

Robots.txt içine nasıl bir kod eklemem gerekiyor bu tip index.php? ile başlayan hiç bir robotlar içeriğe analiz ve tarama yapılmasın.

Şunu kullanıyorum;

Disallow: /index.php?route=product/search&tag=
Disallow: /*index.php?route=product/search&tag=
Disallow: */index.php?route=product/search&tag=
Disallow: /*?
Disallow: /*index.php?route=
Disallow: /*index.php?