Hocam aslında listview ile bu işi yapsanız işiniz çok daha kolaylaşır.

Sizin sorunuza gelince;


LinearLayout linearLayout= (LinearLayout) view.findViewById(R.id.linearLayout); //layout idniz
int count = linearLayout.getChildCount();
int checkCount = 0;
for (int i = 0; i < count; i++) {
View v = linearLayout.getChildAt(i);
if (v instanceof CheckBox && ((CheckBox) v)..isChecked()) {
checkCount++;
}
if(checkCount > 10) //bu kontrolü 10'un üzerine çıktığında boş yere
break; //for'un dönmesine neden olmaması için yapıyoruz
}

if(checkCount == 0)
//hiç checkbox seçili değil
else if(checkCount>10)
//10'dan fazla seçili


//(hata vermeyecekseniz sadece butonu enable disable
//yapacaksanız üstteki 2 if yerine alttaki iş görür)
if(checkCount >= 1 && checkCount <= 10)
//buton.enabled = true
else
//buton.enabled = false