recepozturk adlı üyeden alıntı

Hocam bende kirmizi hata vardi sorunu çözdüm lakin film sitesi nasil olur bilemiyorum benim şu şekilde www.recepozturk.xyz/robots.txt


Hocam bu şekilde güncelledim robot.txt aracında hatalı linkleri testettim sorun gözükmüyor ancak hala tarama hatalarında robot.txt sarı ünlemle uyarılmış.

# Google Image
User-agent: Googlebot-Image
Allow: /
# Google Image
User-agent: Googlebot-Image
Allow: /

# Google AdSense
User-agent: Mediapartners-Google*
Allow: /

# Google Adsbot
User-agent: Adsbot-Google
Allow: /

# digg mirror
User-agent: duggmirror
Disallow: /

# Archive
User-agent: ia_archiver
Disallow: /

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Allow: /feed/
Disallow: */comments/
Disallow: /xmlrpc.php
Allow: /