bende çok anlamıyorum robot txt dosyalarından araştırmadan iş yapmamanızı öneririm dostum. Yararlı bir şey fakat zarara dönüştürebilirsiniz.