Arkadaşlar merhabalar,
Bugün sitemin dizinindeki dosyalara kontrol amaçlı baktığımda var olan robots.txt dosyası yoktu. neden bu dosyam silinmiş olabilir?
Robots.txt Dosyası Nasıl Olmalıdır? |
6 Mesajlar | 1.155 Okunma | ||
- Üyelik 07.09.2020
- Yaş/Cinsiyet 26 / E
- Meslek Ticaret
- Konum İzmir
- Ad Soyad G** A**
- Mesajlar 135
- Beğeniler 28 / 43
- Ticaret 0, (%0)
tulparav.com
- Üyelik 06.11.2020
- Yaş/Cinsiyet 27 / E
- Meslek Tarihçi
- Konum İzmir
- Ad Soyad B** U**
- Mesajlar 121
- Beğeniler 44 / 43
- Ticaret 2, (%100)
https://uzmantarih.com Benim sitemin robots.txt dosyası şu şekilde,
User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /wp-login.php?$
Disallow: /?s=
Disallow: /search/
Disallow: /cgi-bin
Disallow: /wp-includes
User-agent: Baiduspider
Disallow: /
Sitemap: https://uzmantarih.com/sitemap_index.xml
User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /wp-login.php?$
Disallow: /?s=
Disallow: /search/
Disallow: /cgi-bin
Disallow: /wp-includes
User-agent: Baiduspider
Disallow: /
Sitemap: https://uzmantarih.com/sitemap_index.xml
https://uzmantarih.com
- Üyelik 07.09.2020
- Yaş/Cinsiyet 26 / E
- Meslek Ticaret
- Konum İzmir
- Ad Soyad G** A**
- Mesajlar 135
- Beğeniler 28 / 43
- Ticaret 0, (%0)
allow: /
bu kısımın kesinlikle bu şekilde yazılması gerekiyor mu yoksa yazmazsak zaten bütün hepsine izin vermiş mi oluyoruz?
bu kısımın kesinlikle bu şekilde yazılması gerekiyor mu yoksa yazmazsak zaten bütün hepsine izin vermiş mi oluyoruz?
tulparav.com
- Üyelik 06.11.2020
- Yaş/Cinsiyet 27 / E
- Meslek Tarihçi
- Konum İzmir
- Ad Soyad B** U**
- Mesajlar 121
- Beğeniler 44 / 43
- Ticaret 2, (%100)
Bilmiyorum ama allow: / hepsine izin vermek demek. istemediklerini disallow yaparsın
https://uzmantarih.com
- Üyelik 18.11.2016
- Yaş/Cinsiyet 31 / E
- Meslek WebMaster
- Konum İstanbul Avrupa
- Ad Soyad E** Ö**
- Mesajlar 131
- Beğeniler 22 / 42
- Ticaret 0, (%0)
Bazı erişilmesini istemediğin URL yollarının engellemesi gerek örneğin wp-admin, test, beta, demo, admin gibi klasörlerin varsa erişime kapatabilirsin. Ek olarak bazı kötü ve spam botlarının listesini paylaşıyorum buradaki listeyi birebir robots.txt dosyanda kullanabilirsin.
https://www.kukumav.net/blog/robots-txt-olusturma/
https://www.kukumav.net/blog/robots-txt-olusturma/
- Üyelik 23.12.2014
- Yaş/Cinsiyet 29 / E
- Meslek Webmaster
- Konum Samsun
- Ad Soyad M** B**
- Mesajlar 638
- Beğeniler 166 / 165
- Ticaret 5, (%100)
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://siteadi.com/sitemap_index.xml
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://siteadi.com/sitemap_index.xml
Teknoloji Haberleri Sitesinden 🔥 Tanıtım Yazısı 🚀 Satın Al! > https://bit.ly/3xzclQd
Konuyu toplam 1 kişi okuyor. (0 kullanıcı ve 1 misafir)