siteadi.com/index.xml
ve
a.siteadi.com/index.xml
b.siteadi.com/index.xml
c.siteadi.com/index.xml
subdomain olan bir sitede ana url nin botlar tarafindan indexlenmemesi için
ilgili robots.txt örnegi nasıl olmalidir arkadaslar
Uzmanlık Sorusu Robots.txt |
8 Mesajlar | 1.189 Okunma | ||
- Üyelik 18.03.2014
- Yaş/Cinsiyet 47 / E
- Meslek serbest
- Konum Bolu
- Ad Soyad S** A**
- Mesajlar 66
- Beğeniler 8 / 17
- Ticaret 2, (%100)
- Üyelik 02.08.2020
- Yaş/Cinsiyet 22 / E
- Meslek Web Tasarım Uzmanı
- Konum İstanbul Anadolu
- Ad Soyad H** A**
- Mesajlar 85
- Beğeniler 1 / 16
- Ticaret 0, (%0)
bence sadece
sitemap: example.com/sitemap.xml
sitemap: example.com/sitemap.xml
Profesyonel Web Tasarım
HA Bilişim
HA Bilişim
- Üyelik 18.03.2014
- Yaş/Cinsiyet 47 / E
- Meslek serbest
- Konum Bolu
- Ad Soyad S** A**
- Mesajlar 66
- Beğeniler 8 / 17
- Ticaret 2, (%100)
ana url index almasın istiyorum
sadece subdomainler index alacak
sadece subdomainler index alacak
- Üyelik 02.08.2019
- Yaş/Cinsiyet 23 / E
- Meslek Öğrenci
- Konum Kahramanmaraş
- Ad Soyad A** K**
- Mesajlar 164
- Beğeniler 41 / 54
- Ticaret 0, (%0)
Stabil olması açısından emin değilim ama bir fikrim var;
Ana domainde botları engelleyebilir ve sadece alt alan adları için sitemap verebiliriz.
example.com/robots.txt
subdomain.example.com/robots.txt
Ana domainde botları engelleyebilir ve sadece alt alan adları için sitemap verebiliriz.
example.com/robots.txt
User-agent: Googlebot
Disallow: /subdomain.example.com/robots.txt
User-agent: Googlebot
Allow: / 
- Üyelik 18.03.2014
- Yaş/Cinsiyet 47 / E
- Meslek serbest
- Konum Bolu
- Ad Soyad S** A**
- Mesajlar 66
- Beğeniler 8 / 17
- Ticaret 2, (%100)
capscroll bilgilendirme için teşekkür ederim
ikisinin bir arada kullanımı nasıl tam bir örnek lazim eğer hangisi ne şekilde önce ve sonra yazilacak
her subdomain için ayri ayri robots.txt dosyasi oluşturmadan ziyade
ana dizinde tek robots.txt dosyasi olusturmak ve içeriğinin ne şekilde olmasi gerekiyor hepsi için ayri ayri olsa kolay standart yazip gecebiliriz
ikisinin bir arada kullanımı nasıl tam bir örnek lazim eğer hangisi ne şekilde önce ve sonra yazilacak
her subdomain için ayri ayri robots.txt dosyasi oluşturmadan ziyade
ana dizinde tek robots.txt dosyasi olusturmak ve içeriğinin ne şekilde olmasi gerekiyor hepsi için ayri ayri olsa kolay standart yazip gecebiliriz
- Üyelik 02.08.2019
- Yaş/Cinsiyet 23 / E
- Meslek Öğrenci
- Konum Kahramanmaraş
- Ad Soyad A** K**
- Mesajlar 164
- Beğeniler 41 / 54
- Ticaret 0, (%0)
taka Her robots.txt dosyası kendi dizininde geçerli olur, mesela example.com için yaptığımız robots.txt ayarları a.example.com/b.example.com vb. için geçerli olmaz. Bu yüzden benim aklıma böyle bir yöntem geldi, User-agent: * şeklinde değiştirirsek Google dahil tüm crawlerları engelleyebiliriz. Ben olsam böyle yapardım, daha stabil bir yolu varsa ben de öğrenmek isterim.
Ek bilgi için bkz. Google Developers - robots.txt Spesifikasyonları
Ek bilgi için bkz. Google Developers - robots.txt Spesifikasyonları
Konuyu toplam 1 kişi okuyor. (0 kullanıcı ve 1 misafir)