aklıma gelen ilk şey sanırım tüm sayfaları dolaşıp data çekmeye çalışıyorsunuz. böyle bir sorunla karşılaşmıştım farklı sitede. istek yaptığımda requestimdeki referrer değişkenine bakıyordu nereden geldiğimi anlamak için. buraya sitenin url ini yazdığımda çalıştırabilmiştim. request atarken agent-string, gzip method, referrer gibi parametreleri ekleyerek dene.

request.Headers.Add("MyTestHeader", "My Test Header Value");