User-agent:*
Disallow:

bu şekilde bırakırsan herşeyin indexlenmemesini istemiş olursun.
Bunun için mutlaka bir yol belirt.

bu konuyu okuyun