Robot.txt nedir ? Nasıl Olusturulur ? Otomatikmi Oluşuyor? |
6 Mesajlar | 766 Okunma | ||
- Üyelik 03.02.2016
- Yaş/Cinsiyet 31 / E
- Meslek Serbest
- Konum İstanbul Avrupa
- Ad Soyad S** E**
- Mesajlar 943
- Beğeniler 121 / 134
- Ticaret 5, (%100)
Merhabalar ustadlarim sanirim baslikta sorunumu dile getirdim :) merak ettim de search consolda falan bu dosyayi gordum all in seo eklentisindede mevcut bu nedir neyin nesidir nasil olusur yada olusturulur tam olarak bu dosyanin amaci nedir
- Üyelik 03.10.2013
- Yaş/Cinsiyet 44 / E
- Meslek Yazılım Uzmanı, Matematikçi
- Konum Ankara
- Ad Soyad S** T**
- Mesajlar 1119
- Beğeniler 325 / 324
- Ticaret 2, (%100)
Hocam not defteri ile kendin de oluşturabilirsin.
Örnek, hatasız bir robots.txt içeriği buyur. İçerisinde robotun ziyaret etmesini istemediğin sayfaları veya site haritanı belirtebiliyorsun.
Örnek, hatasız bir robots.txt içeriği buyur. İçerisinde robotun ziyaret etmesini istemediğin sayfaları veya site haritanı belirtebiliyorsun.
User-agent: *
Disallow: /js
Disallow: /images
Sitemap: http://www.cizgi.site/site-haritasi.xml
www.ontedi.com
www.cizgi.site
www.cizgi.site
- Üyelik 03.02.2016
- Yaş/Cinsiyet 31 / E
- Meslek Serbest
- Konum İstanbul Avrupa
- Ad Soyad S** E**
- Mesajlar 943
- Beğeniler 121 / 134
- Ticaret 5, (%100)
Verdiginiz link kirik hocam yani tam olarak bu dosyanin amaci ndir
Ek Olarak: Son sürümün görülme tarihi: 17 03 2016 15:52 Tamam (200) 81 Bayt
Yayınlanan robots.txt dosyasını görün
1User-agent: *
2Crawl-delay: 1
3Disallow: /wp-content/plugins/
4Disallow: /wp-admin/
Kural googlebot tarafindan yok sayildi diye bi uyari var 2.secenegin yaninda turuncu ucgen var
Ek Olarak: Son sürümün görülme tarihi: 17 03 2016 15:52 Tamam (200) 81 Bayt
Yayınlanan robots.txt dosyasını görün
1User-agent: *
2Crawl-delay: 1
3Disallow: /wp-content/plugins/
4Disallow: /wp-admin/
Kural googlebot tarafindan yok sayildi diye bi uyari var 2.secenegin yaninda turuncu ucgen var
- Üyelik 08.06.2014
- Yaş/Cinsiyet 29 / E
- Meslek Öğrenci
- Konum İstanbul Avrupa
- Ad Soyad E** S**
- Mesajlar 31
- Beğeniler 6 / 11
- Ticaret 0, (%0)
TecnoLobi "robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı'nı kullanır." Google'ın açıklaması yeterince net bir açıklama 10 saniyelik arama ile çıkıyor :)
Ek Olarak: Sen orda mesela disallow wp-admin diyorsun, bot orayı indexleyemiyor. Disallow olmayan her yeri indexleyip google gibi arama motorlarına çıkarıyor, o olmasa insanlar senin login ekranını google aramada görebilir(profesyonelce bir hamle değildir)
Ek Olarak: Sen orda mesela disallow wp-admin diyorsun, bot orayı indexleyemiyor. Disallow olmayan her yeri indexleyip google gibi arama motorlarına çıkarıyor, o olmasa insanlar senin login ekranını google aramada görebilir(profesyonelce bir hamle değildir)
Bilgisayar Mühendisi "Adayı"
EsEs
Bilgi University
EsEs
Bilgi University
- Üyelik 28.08.2015
- Yaş/Cinsiyet 37 / E
- Meslek Webdeveloper
- Konum Mersin
- Ad Soyad E** Y**
- Mesajlar 406
- Beğeniler 19 / 87
- Ticaret 0, (%0)
WordPress için en iyi robots.txt dosyası aşağıdaki gibidir.
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /*ref=*
Disallow: /*?ref=*
Disallow: /?ref=*
Disallow: *?replytocom
Sitemap: http://sitenizin adını yazın/sitemap.xml.gz
Konuyu toplam 1 kişi okuyor. (0 kullanıcı ve 1 misafir)