İyi günler arkadaşlar araştırmalarım sonucunda bir robots.txt dosyası buldum ve onu kullanıyorum bu konu hakkında bilgisi olan arkadaşlar bu dosyanın doğru olup olmadığını eklemem çıkarmam gereken bi şey varsa yarım edebilir misiniz

User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.oneriajandam.com/sitemap.xml

bunu kullanıyorum