User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /category/
Disallow: /kategori/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
Sitemap: http://www.torrenthane.in/sitemap.xml 
- Üyelik 05.07.2011
- Yaş/Cinsiyet 27 / E
- Meslek Öğrenci
- Konum
- Ad Soyad ** **
- Mesajlar 611
- Beğeniler 116 / 70
- Ticaret 5, (%100)
kendi sitemden örnek vereyim
- Üyelik 28.04.2011
- Yaş/Cinsiyet 28 / E
- Meslek Stajyer Muhasebeci
- Konum İstanbul Avrupa
- Ad Soyad ** **
- Mesajlar 1252
- Beğeniler 103 / 134
- Ticaret 28, (%100)
Birkaç örnek:
http://sorbize.com/robots.txt
http://sorbize.com/robots.txt
User-agent: *
Disallow:
Sitemap: http://www.sorbize.com/sitemap.xml.gz http://nonloser.com/robots.txtUser-agent: *
Disallow:
Sitemap: http://www.nonloser.com/sitemap.xml.gz http://yakuter.com/robots.txtDisallow: /wp-*http://bidusun.com/robots.txt User-agent: Googlebot
Disallow: /wp-admin
User-agent: *
Disallow:
Sitemap: http://bidusun.com/sitemap.xml.gz http://aorhan.com/robots.txt User-agent: *
Disallow:
Sitemap: http://www.aorhan.com/sitemap.xml.gz http://arslania.com/robots.txt User-agent: *
Disallow: /search/
Disallow: /goto/sorbize ile aynısını yaptım. Teşekkürler Süleyman hocam (:
- Üyelik 11.06.2011
- Yaş/Cinsiyet 28 / E
- Meslek M.I.S
- Konum
- Ad Soyad B** S**
- Mesajlar 771
- Beğeniler 75 / 73
- Ticaret 0, (%0)
Bende sorbize ile yaptım hayırlısı :)
- Üyelik 09.02.2011
- Yaş/Cinsiyet 36 / E
- Meslek Sistem Yöneticiliği
- Konum ABD
- Ad Soyad S** Ş**
- Mesajlar 2980
- Beğeniler 258 / 257
- Ticaret 16, (%100)
@Nonloser senin verdiğin robots.txt ayarlarını yaptıkmı farkı ne olacak?
Benim robots.txt dosyam bu;
User-agent: * Allow: /
Benim robots.txt dosyam bu;
User-agent: * Allow: /
Youtube: NovaMobi Teknoloji
Konuyu toplam 2 kişi okuyor. (0 kullanıcı ve 2 misafir)