Belli ki .htaccess dosyanda, 404.php dosyanda alt klasörlerde, muhtemel localhost çalışıyorsun, o durumda ;

404.php dosyası URL ana dizinde ise

ErrorDocument 404 http://%{HTTP_HOST}/404.php

http://%{HTTP_HOST} demek domain URL'sini almak demek..

Çalıştırdığın script ve .htaccess dosyası alt klasör altında ise

ErrorDocument 404 http://%{HTTP_HOST}/alt-klasor/404.php

Kısaca

ErrorDocument 404 http://site-url.com/404.php

veya alt klasörlerde ise

ErrorDocument 404 http://site-url.com/alt-klasor/404.php