taka Her robots.txt dosyası kendi dizininde geçerli olur, mesela example.com için yaptığımız robots.txt ayarları a.example.com/b.example.com vb. için geçerli olmaz. Bu yüzden benim aklıma böyle bir yöntem geldi, User-agent: * şeklinde değiştirirsek Google dahil tüm crawlerları engelleyebiliriz. Ben olsam böyle yapardım, daha stabil bir yolu varsa ben de öğrenmek isterim.

Ek bilgi için bkz. Google Developers - robots.txt Spesifikasyonları