http://forumsorulari.blogspot.com/2020/02/robotstxt-tarafndan-engelleniyor-olsa.html
Çözümünü burada belirttim.