Google webmasters kısmında robots.txt test aracı var.