Bazı sunucularda robot.txt veya .htaccess gizli hale geliyor. sebebini çözemedim ama onla uğraşmak yerine yeni sunucuya yeniden bir robot.txt oluşturup yüklemek daha kısa sürer sanırım :)