Robots.txt içine ekleyin hocam.
Ama diğer boyların erişimi için içeriği değiştirmeyin sadece bunu ekleyin.
Bu kod istediğiniz botun sitenizin ana dizinine erişimini engeller aynı şekilde
Klasörleride ekleyebilirsiniz


User Agent:archive.org_bot
Disallow/
Disalow/klasör1 gibi
Disallow/klasör2 gibi