Web archive'da çıkmak istemiyorsanız şunu ekleyin:

User-agent: ia_archiver
Disallow: /

Şahsen bunun haricinde hiçbir şey eklemedim robots.txt dosyama.