Denemedim ama şu şekilde setTimeout kullanabilirsin (5000 = 5 saniye):

<script>
function kayitol(){
var veriler = $('#oyformu').serialize();
$.ajax({
type:"POST",
url:"oykullan.php",
data: veriler,
error:function(){
$('#oycevabi').html("Hata oluştu");
setTimeout(function() {
$("#oycevabi").html("");
}, 5000);
},
success:function(oycevabi){
$('#oycevabi').html(oycevabi);
setTimeout(function() {
$("#oycevabi").html("");
}, 5000);
}

});
}
</script>