Robots.txt nedir? Nasıl kullanılır?

Robots.txt nedir?

Sitenin ana dizininde (kök dizini) bulunmaktadır.
Çalışması bunun dışında olmamaktadır. ( www.siteadresi.com/robots.txt )
Kullanılmasının en yaygın amacı google sıralamalarında görünmesini engelleme, indexlenmesini engelleme, hariç tutmaktır.

Nasıl kullanılır?

User-agent:
Bu satır bir başlangıç kuralını belirtir. Yani hedeflenen GoogleBot ise aşağısına taranmalı ve taranmamalı olarak yollar eklenir.
Örnek kullanım:
User-agent: GoogleBot
Disallow:
Allow: /wp-content/uploads/

User-agent: *
Eğer yıldız işareti bırakırsanız altına ise Disallow: satırını boş bırakar yazarsanız. siteniz tüm arama motorları tarafından taranmaz halde olacaktır.
Allow: / olarak eklerseniz bütün botların sitenizi görüp taramasına izin vemriş olursunuz.
İdeal kullanımı:
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Bu şekilde kullanıp taranmasını ve taranmamasını isteyeceğimiz yolları belirtmektir.

Disallow nedir?
Arama motorlarına taranmamasını istediğimiz yolları belirtir.
Örnek kullanım:
Disallow: /wp-includes/js/

Allow nedir?
Arama motorlarına taranmalı diyebileceğimiz yolları belirtir.
Örnek kullanım:
Allow: /wp-content/uploads/


Robots.txt - header.php Kullanımı

Sitenin google tarafından taranmaması için aşağıda kod header.php ye eklenir.


Botlar gelmesine izin verilen bir koddur.Fakat indexlenmesi istenmediği anlamına gelir.



Search Konsolunuzda "noindex" hata sayfaları alıyorsanız header.php de meta tagınızda noindex varlığına bakınız. "noindex" hatalarını eğer konsolunuzda etiket sayfalarınızın olduğunu görüyorsanız düzeltilmesini isteyin.

Robotx.txt dosyanıza mutlaka site haritanızı ekleyin.
Örnek ekleme şu şekilde olmalı:
Sitemap: http://www.siteadresim.com/sitemap_index.xml

Birden çok site haritasını robotx.txt ekleyebilir miyim? - Evet
Birden çok site haritasını search konsola ekleyebilir miyim? - Evet
Birden çok robotx.txt kullanabilir miyim? - Hayır
header.php de yukarıda belirtilen meta tagını kullanmam zorunlu mudur? - Hayır


Sitemap: http://www.google.com/ping?sitemap=https://www.siteadresiniz.com/sitemap_index.xml
Bu verdiğim linki kendinize göre düzenleyin ve yeni bir sekmede açın.
Site Haritası Bildirimi Alındı. yazısını okudunuz mu?
Öyleyse robots.txt dosyasına eklersem bu pinglemenin bana faydası olabilir.


Örnek bir Robots.txt Kullanımı

Bir çok kişi örnek bir robotx.txt dosyası nasıl olmalıdır diye araştırmalar yapıyor, destek konuları açıyor. Bununla birlikte robots.txt dosyasını seo açısında önemli hale getirmek düşünceleri var olmaktadır.

Google botlarını tek tek yazarak sitemin taranmasını istersem şöyle yapmalıyım.

User-agent: Googlebot-Mobile
Allow: /wp-content/uploads/

User-agent: Twitterbot
Allow: /wp-content/uploads/

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Mediapartners-Google*
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /wp-content/uploads/


Şunları da altına yazarım. Bunları tarama indexleme derim.

Disallow: /wp-content/plugins/
Disallow: /wp-content/cache
Disallow: /wp-includes/js

Site haritalarını da altına ekleyebilirim.

Sitemap: https://www.siteadresi.com/sitemap_index.xml
Sitemap: http://www.google.com/ping?sitemap=https://www.siteadresi.com/sitemap_index.xml

Önemli
Search Console eski sürümünde robots.txt bölümünde hata varmı yok mu kesin bakın.
Genel de sadece allow ya da sadece disallow eklenerek alınan hatalar vardır.
Mutlaka hem disallow hem de allow kullanın.

CoaX tarayıcıya robots.txt eklediğimde robots.txt var fakat kök dizinde göremiyorum gizli olarak mı kalıyor bu dosya

İlginç, robots.txt Gizli kalmaz. Sorguyu görebileceğimiz bir ekran görüntüsü koymayı deneyin.

enerjiveguc wordpress kurulurken kendi oluşturduğu robots.txt gözükmüyordu fakat tarayıca siteadi.com/robots.txt yazdığımda vardı ve gözüküyordu şimdi kendim robots.txt oluşturup attım şu an kökdizinde de gözüküyor

Sistem kendi içeriisnde oluşturmuş olabilir, bunlar genellikle cPanel yada Plesk te Wordpress yüklemesi aşamasında yapılabiliyor.Ama doğruluğuna "ben" pek itibar etmeyip kendim hazırlamayı tercih ediyorum. Başınıza geldiği gibi görünmeye biliyor, yada olması gerektiği konumda olmayabiliyor.

Bu nedenle manuel olarak hazırlayıp sunucuya atmak en garanti ve doğru yoludur...

coax, adamsın..

Yani şimdi bunu kullananlar , google sıralamalarında sitelerinin görülmesini mi engelleyecek. Yanlıs mı anladım acaba

Robots.txt ile site içeriğinde bulunan tüm dosyalardan, hangilerinin arama motorları tarafından indekslenerek görünmesini istediğinizi (allow) ve istemediğinizi (disallow) belirlersiniz.

Ustamın dediği gibi google örümceklerinin taranmasını istediğiniz ve istemediğiniz dosya klasör sayfa gibi iç ve dış verilerinizi göstermeye yarayan google tarafından sitenizin ana dizininde zorunlu bulundurulması istenen bir dosyadır.
Eğer siz bu ve benzeri konular hakkında fikriniz bilginiz yok ise bir Web sitesi açtıktan sonra neler yapılmalı gibi arayışlara girin ve eksiğinizin kalmamasına dikkat edin.
Bunun için forumda bir çok konu olması gerekiyor. Müsait zamanımda böyle bir konu açmayı düşünüyorum.

Merhaba kolay gelsin herkese benim robots.txt dosyası şu şekildedir bi sakıncası var mı acaba ben manuel olarakdeğiştirdim ama yine eski hâline dönmüş neden bu şekilde oldu anlamış değilim.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Ayrıca bu verdiğim kodlar wordpres kurulumunda gelen orijinal robots.txt dosyası ve FTP den baktım yoktu bu dosya kendim manuel olarak ayarladım yine bu hali almış nedenini bilen var mı acaba