Yanlış anlamadıysam 404'e düşen linkleri tespit etmek istiyorsun. İndex'e açık bir web sitesi için düşünecek olursam mutlaka bir sitemap'i vardır. Sitemap içeriğini API olarak sunarsın, JS ile XHR ile HEAD isteği yaparsın, duruma göre 404 mü 200 mü kontrolü yaparsın.

Yine index alan bir siteyse Google gibi arama motorlarının WM tolları içindeki 404'lü sayfalarla ilgili bir raporlama bölümü varsa bakabilirsin.

Bu öneriler aklıma gelen en sağlam öneri ama link sayısı arttıkça işkenceden başka bir şey olmaz.

2. önerim ise sunucu tarafında 404'lü sayfaları yakalayıp loglamak. Admin panelinde her 404'lü sayafa yakalandığında gösterirsin ona göre müdehale edebilirsin.

Eğer endişen SEO ise 404'lü içeriği 301 yönlendirmesi ile ana sayfaya yönlendirsin ve hasarı minimize edebilirsin.