selam arkadaşlar robots.txt dosyasını oluşturmamanın zararı ve oluşturmanın faydaları nedir şu için 2 sitem var birinde dns hatası yüzünden oluşturdum ama gene çözülmedi dns hatası diğerinde ise oluşturmadım ama genede index alıyor bunda sorun yok