yanlış anlamadıysam robot.txt ile halledilebilir.