Robots.txt sayfasında allow disallow da neler var görmek yardımcı olmak için iyi bir adım olabilir.