Webview'in üstüne bir tane gizli textview atabilirsin. Onu net bağlantısı olmadığı zaman göster dersin, içerisinde de "Lütfen bağlantınızı kontrol edin" uyarısını yazarsın.

Yada

yeni bir intent oluşturup o intent içerisinde "Hata sayfası" diye belirtirsin.