https://www.ihs.com.tr/seo/robots-txt-olusturucu burdan robots.txt oluştur bütün boatlara izin ver
https://www.ihs.com.tr/seo/xml-sitemap-generator sitemap oluştur always yap.
site:alanadı.com yaz ilk sırada google webmaster vardır. gir ona siteni ekle sonra bunları ekle kolay 20 dk da anlarsın
https://www.ihs.com.tr/seo/xml-sitemap-generator sitemap oluştur always yap.
site:alanadı.com yaz ilk sırada google webmaster vardır. gir ona siteni ekle sonra bunları ekle kolay 20 dk da anlarsın
bahsettiğiniz sayfadan robots.txt dosyası oluşturmaya çalıştım, hepsinde "izin ver" kısmı seçtim. Daha sonra ise "Kısıtlamak istediğiniz dizinler: Klasör veya dosya yolu" yazan yere sadece / işareti koydum ve bana aşağıdaki robots.txt çıktısını verdi. Sizce doğru mu?
User-agent: Googlebot
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: Gigabot
Disallow:
User-agent: Robozilla
Disallow:
User-agent: Nutch
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: baiduspider
Disallow:
User-agent: naverbot
Disallow:
User-agent: yeti
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: psbot
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: *
Disallow:
Crawl-delay: 20
Disallow: /
Sitemap: https://......./sitemap_index.xml
Aşağıdaki de eski robots.txt dosyam
Sitemap: https://......./sitemap_index.xml
User-agent: *
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.wmv$
Disallow: /*.tar$
Disallow: /*.tgz$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: */trackback/
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: YandexBot
Allow: /
User-agent: YandexMedia
Allow: /
User-agent: YandexImages
Allow: /