Google ın bilemediğini biz mi bilelim hocam. 3-5 haber sitesi, Facebook vs hariç her şeyi Google'a yazan insanlarız :D
Robot.tx den bot istemediğini belirttiyse ve sunucudan da engellediyse bu yapılır fakat hit kısmını bilemiyeceğim. Bazı torrent siteleri var belki onlar diyeceğim ama onlar da google da çıkıyor sadece içerik gözükmüyor google da
Normal siteler yapmaz zaten Benim aradığım karanlık işler yapıp sadece alanadını bilenlerin girdiği siteler :)