Peki Google ne var ne yok indexlesin istersek robot txt dosyasını nasıl düzenlemek gerekir
User-agent: *
Allow: /
Sitemap: http://www.siteismi.com/sitemap.xml
Bu şekilde yapıldıgında bütün herşeyi indexliyor
eyer indexlemesin istiyorsanız
User-agent: Googlebot
Disallow: /nogooglebot/ şeklindedir