İyi günler arkadaşlar araştırmalarım sonucunda bir robots.txt dosyası buldum ve onu kullanıyorum bu konu hakkında bilgisi olan arkadaşlar bu dosyanın doğru olup olmadığını eklemem çıkarmam gereken bi şey varsa yarım edebilir misiniz
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.oneriajandam.com/sitemap.xml
bunu kullanıyorum