wmaraci reklam

Robots.txt nedir? Nasıl kullanılır?

11 Mesajlar 3.621 Okunma
wmaraci reklam

CoaX CoaX AmeleMaster Kullanıcı
  • Üyelik 04.05.2013
  • Yaş/Cinsiyet 38 / E
  • Meslek CoaXSEO
  • Konum İstanbul Avrupa
  • Ad Soyad M** P**
  • Mesajlar 1049
  • Beğeniler 216 / 667
  • Ticaret 8, (%88)
Robots.txt nedir?

Sitenin ana dizininde (kök dizini) bulunmaktadır.
Çalışması bunun dışında olmamaktadır. ( www.siteadresi.com/robots.txt )
Kullanılmasının en yaygın amacı google sıralamalarında görünmesini engelleme, indexlenmesini engelleme, hariç tutmaktır.

Nasıl kullanılır?

User-agent:
Bu satır bir başlangıç kuralını belirtir. Yani hedeflenen GoogleBot ise aşağısına taranmalı ve taranmamalı olarak yollar eklenir.
Örnek kullanım:
User-agent: GoogleBot
Disallow:
Allow: /wp-content/uploads/

User-agent: *
Eğer yıldız işareti bırakırsanız altına ise Disallow: satırını boş bırakar yazarsanız. siteniz tüm arama motorları tarafından taranmaz halde olacaktır.
Allow: / olarak eklerseniz bütün botların sitenizi görüp taramasına izin vemriş olursunuz.
İdeal kullanımı:
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Bu şekilde kullanıp taranmasını ve taranmamasını isteyeceğimiz yolları belirtmektir.

Disallow nedir?
Arama motorlarına taranmamasını istediğimiz yolları belirtir.
Örnek kullanım:
Disallow: /wp-includes/js/

Allow nedir?
Arama motorlarına taranmalı diyebileceğimiz yolları belirtir.
Örnek kullanım:
Allow: /wp-content/uploads/


Robots.txt - header.php Kullanımı

Sitenin google tarafından taranmaması için aşağıda kod header.php ye eklenir.


Botlar gelmesine izin verilen bir koddur.Fakat indexlenmesi istenmediği anlamına gelir.



Search Konsolunuzda "noindex" hata sayfaları alıyorsanız header.php de meta tagınızda noindex varlığına bakınız. "noindex" hatalarını eğer konsolunuzda etiket sayfalarınızın olduğunu görüyorsanız düzeltilmesini isteyin.

Robotx.txt dosyanıza mutlaka site haritanızı ekleyin.
Örnek ekleme şu şekilde olmalı:
Sitemap: http://www.siteadresim.com/sitemap_index.xml

Birden çok site haritasını robotx.txt ekleyebilir miyim? - Evet
Birden çok site haritasını search konsola ekleyebilir miyim? - Evet
Birden çok robotx.txt kullanabilir miyim? - Hayır
header.php de yukarıda belirtilen meta tagını kullanmam zorunlu mudur? - Hayır


Sitemap: http://www.google.com/ping?sitemap=https://www.siteadresiniz.com/sitemap_index.xml
Bu verdiğim linki kendinize göre düzenleyin ve yeni bir sekmede açın.
Site Haritası Bildirimi Alındı. yazısını okudunuz mu?
Öyleyse robots.txt dosyasına eklersem bu pinglemenin bana faydası olabilir.


Örnek bir Robots.txt Kullanımı

Bir çok kişi örnek bir robotx.txt dosyası nasıl olmalıdır diye araştırmalar yapıyor, destek konuları açıyor. Bununla birlikte robots.txt dosyasını seo açısında önemli hale getirmek düşünceleri var olmaktadır.

Google botlarını tek tek yazarak sitemin taranmasını istersem şöyle yapmalıyım.

User-agent: Googlebot-Mobile
Allow: /wp-content/uploads/

User-agent: Twitterbot
Allow: /wp-content/uploads/

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Mediapartners-Google*
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /wp-content/uploads/


Şunları da altına yazarım. Bunları tarama indexleme derim.

Disallow: /wp-content/plugins/
Disallow: /wp-content/cache
Disallow: /wp-includes/js

Site haritalarını da altına ekleyebilirim.

Sitemap: https://www.siteadresi.com/sitemap_index.xml
Sitemap: http://www.google.com/ping?sitemap=https://www.siteadresi.com/sitemap_index.xml

Önemli
Search Console eski sürümünde robots.txt bölümünde hata varmı yok mu kesin bakın.
Genel de sadece allow ya da sadece disallow eklenerek alınan hatalar vardır.
Mutlaka hem disallow hem de allow kullanın.
turkeytrick dincerdirlik gfo

kişi bu mesajı beğendi.

SMM Panel, Sosyalyuvam, Bayilik Paneli, En Uygun Panel, Takipçi Paneli
reklam

silenthilll silenthilll WM Aracı Kullanıcı
  • Üyelik 29.09.2011
  • Yaş/Cinsiyet 38 / E
  • Meslek öğrenci
  • Konum Manisa
  • Ad Soyad M** K**
  • Mesajlar 699
  • Beğeniler 61 / 126
  • Ticaret 1, (%100)
CoaX tarayıcıya robots.txt eklediğimde robots.txt var fakat kök dizinde göremiyorum gizli olarak mı kalıyor bu dosya
 

 

enerjiveguc enerjiveguc Wordpress Destek Kullanıcı
  • Üyelik 28.05.2018
  • Yaş/Cinsiyet 52 / E
  • Meslek Street Engineer
  • Konum İstanbul Anadolu
  • Ad Soyad B** A**
  • Mesajlar 5152
  • Beğeniler 2185 / 2187
  • Ticaret 0, (%0)

silenthilll adlı üyeden alıntı

CoaX tarayıcıya robots.txt eklediğimde robots.txt var fakat kök dizinde göremiyorum gizli olarak mı kalıyor bu dosya


İlginç, robots.txt Gizli kalmaz. Sorguyu görebileceğimiz bir ekran görüntüsü koymayı deneyin.
 

 

silenthilll silenthilll WM Aracı Kullanıcı
  • Üyelik 29.09.2011
  • Yaş/Cinsiyet 38 / E
  • Meslek öğrenci
  • Konum Manisa
  • Ad Soyad M** K**
  • Mesajlar 699
  • Beğeniler 61 / 126
  • Ticaret 1, (%100)
enerjiveguc wordpress kurulurken kendi oluşturduğu robots.txt gözükmüyordu fakat tarayıca siteadi.com/robots.txt yazdığımda vardı ve gözüküyordu şimdi kendim robots.txt oluşturup attım şu an kökdizinde de gözüküyor
 

 

wmaraci

enerjiveguc enerjiveguc Wordpress Destek Kullanıcı
  • Üyelik 28.05.2018
  • Yaş/Cinsiyet 52 / E
  • Meslek Street Engineer
  • Konum İstanbul Anadolu
  • Ad Soyad B** A**
  • Mesajlar 5152
  • Beğeniler 2185 / 2187
  • Ticaret 0, (%0)

silenthilll adlı üyeden alıntı

enerjiveguc wordpress kurulurken kendi oluşturduğu robots.txt gözükmüyordu fakat tarayıca siteadi.com/robots.txt yazdığımda vardı ve gözüküyordu şimdi kendim robots.txt oluşturup attım şu an kökdizinde de gözüküyor


Sistem kendi içeriisnde oluşturmuş olabilir, bunlar genellikle cPanel yada Plesk te Wordpress yüklemesi aşamasında yapılabiliyor.Ama doğruluğuna "ben" pek itibar etmeyip kendim hazırlamayı tercih ediyorum. Başınıza geldiği gibi görünmeye biliyor, yada olması gerektiği konumda olmayabiliyor.

Bu nedenle manuel olarak hazırlayıp sunucuya atmak en garanti ve doğru yoludur...
silenthilll

kişi bu mesajı beğendi.

Mikserci Mikserci https://nedennedir.com Kullanıcı
  • Üyelik 22.05.2019
  • Yaş/Cinsiyet 38 / E
  • Meslek oto ses sistemi
  • Konum İstanbul Avrupa
  • Ad Soyad A** A**
  • Mesajlar 160
  • Beğeniler 30 / 51
  • Ticaret 1, (%100)
coax, adamsın..
CoaX

kişi bu mesajı beğendi.

https://nedennedir.com

kingfk kingfk WM Aracı Kullanıcı
  • Üyelik 06.01.2020
  • Yaş/Cinsiyet 28 / E
  • Meslek Serbest
  • Konum İzmir
  • Ad Soyad D** C**
  • Mesajlar 159
  • Beğeniler 8 / 8
  • Ticaret 0, (%0)
Yani şimdi bunu kullananlar , google sıralamalarında sitelerinin görülmesini mi engelleyecek. Yanlıs mı anladım acaba
 

 

enerjiveguc enerjiveguc Wordpress Destek Kullanıcı
  • Üyelik 28.05.2018
  • Yaş/Cinsiyet 52 / E
  • Meslek Street Engineer
  • Konum İstanbul Anadolu
  • Ad Soyad B** A**
  • Mesajlar 5152
  • Beğeniler 2185 / 2187
  • Ticaret 0, (%0)

kingfk adlı üyeden alıntı

Yani şimdi bunu kullananlar , google sıralamalarında sitelerinin görülmesini mi engelleyecek. Yanlıs mı anladım acaba


Robots.txt ile site içeriğinde bulunan tüm dosyalardan, hangilerinin arama motorları tarafından indekslenerek görünmesini istediğinizi (allow) ve istemediğinizi (disallow) belirlersiniz.
kingfk

kişi bu mesajı beğendi.

CoaX CoaX AmeleMaster Kullanıcı
  • Üyelik 04.05.2013
  • Yaş/Cinsiyet 38 / E
  • Meslek CoaXSEO
  • Konum İstanbul Avrupa
  • Ad Soyad M** P**
  • Mesajlar 1049
  • Beğeniler 216 / 667
  • Ticaret 8, (%88)
Ustamın dediği gibi google örümceklerinin taranmasını istediğiniz ve istemediğiniz dosya klasör sayfa gibi iç ve dış verilerinizi göstermeye yarayan google tarafından sitenizin ana dizininde zorunlu bulundurulması istenen bir dosyadır.
Eğer siz bu ve benzeri konular hakkında fikriniz bilginiz yok ise bir Web sitesi açtıktan sonra neler yapılmalı gibi arayışlara girin ve eksiğinizin kalmamasına dikkat edin.
Bunun için forumda bir çok konu olması gerekiyor. Müsait zamanımda böyle bir konu açmayı düşünüyorum.
enerjiveguc

kişi bu mesajı beğendi.

Jupiter34 Jupiter34 WM Aracı Kullanıcı
  • Üyelik 21.12.2020
  • Yaş/Cinsiyet 34 / E
  • Meslek Montaj elemanı
  • Konum İstanbul Avrupa
  • Ad Soyad Ş** S**
  • Mesajlar 27
  • Beğeniler 7 / 3
  • Ticaret 0, (%0)
Merhaba kolay gelsin herkese benim robots.txt dosyası şu şekildedir bi sakıncası var mı acaba ben manuel olarakdeğiştirdim ama yine eski hâline dönmüş neden bu şekilde oldu anlamış değilim.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Ayrıca bu verdiğim kodlar wordpres kurulumunda gelen orijinal robots.txt dosyası ve FTP den baktım yoktu bu dosya kendim manuel olarak ayarladım yine bu hali almış nedenini bilen var mı acaba
turkeytrick

kişi bu mesajı beğendi.

wmaraci
Konuyu toplam 1 kişi okuyor. (0 kullanıcı ve 1 misafir)
Site Ayarları
  • Tema Seçeneği
  • Site Sesleri
  • Bildirimler
  • Özel Mesaj Al