Sitenin temeli nedir. Wordpress ise, WordPress Robots.txt nasıl olmalıdır makalelerine bakın. Normal Html sitelerden farklıdır.