Giriş Yap / Kayıt Ol
ytmatikvip

Robots.txt, tüm sunucuların ve sitelerin ana dizini içerisinde yer alması gereken botlara karşı verilecek komutları içerisinde barındıran bir bilgilendirme/ayar dosyasıdır. İnternet üzerinde insanlar yerine çalışan birçok bot vardır. Bu botlardan büyükçe bir kısmı ise web sitelerini tarayan ve yeni bir içerik bulduğu zaman arama motorlarına bu sayfaların eklenmesini sağlayan taramaya yardımcı botlardır.

Bu tür botlar web sitemize geldiklerinde ilk iş eğer sahipsek “robot.txt” dosyasına bakmak olacaktır. Bu sayfanın içerisindeki komutlara göre de hareket edecek ve tarama işlemlerini tamamlayacaklardır. Şayet, robot.txt dosyamız yoksa bu tarama botları web sunucumuz içerisinde faydalı veya faydasız tüm her şeyi taramaya çalışacaktır.

Robots.txt

Robots.txt Ne İşe Yarar?

Robot.txt dosyası içerisinde belirlemiş olduğumuz kurallar ve komutlar sayesinde başta Google'ın tarama botları olmak üzere tüm tarama botlarına net talimatlar verebiliriz. Örneğin, web sitemizin admin panelleri sadece biz yöneticileri tarafından kullanan ve kesinlikle indexlenmesine gerek olmayan sayfalardır. Eğer Robot.txt içerisine arama motoru botunun burayı boşuna taramayıp vakit kaybetmemesini söylersek dolayısıyla botun işi daha kısa sürecektir. Bu da bizim sitemizi tarama işleminin daha kısa süreceği anlamına geliyor. Tam olarak istediğiniz gibi bir robots.txt dosyasına sahip olmamız hem bizlere işlevsellik kazandırır hem de SEO işlemlerine yardımcı olur.

Robots.txt Nasıl Olmalı?

Bir robots.txt dosyasının nasıl olacağı biraz da yöneticinin inisiyatifi altındadır. Zira her web sitesi farklı bir yapıya sahip olduğu gibi farklı bir amaca da hizmet edebilir. Örneğin web sitenizdeki hiç bir içeriğin arama motorları tarafından taranmamasını istiyorsanız;

User-agent: *
Disallow: /

şeklinde bir komut verebilirsiniz.

Ya da web siteniz bir WordPress'e örneğin admin klasörünün taranmaması için;

User-agent: *
Disallow: /wp-admin

gibi bir robot.txt dosyasına sahip olabilirsiniz.

Robot.txt dosyası gereksiz olan tüm ana dizinleri içerisinde barındırmalı ve arama motorlarını bu sayfalar içerisinden uzak tutmalıdır. Böylece robotlar işini daha kısa sürede yapacak ve siz de daha hızlı sonuçlar görmeye başlayacaksınızdır.

Ayrıca http://www.robotsgenerator.com/ gibi hizmetleri kullanarak hangi arama motoru botlarının hangi dizinleri tarayıp hangilerini taramayacağı gibi çok detaylı bir robot.txt dosyası oluşturabilirsiniz.

ahmetdeniz21 avatar
ahmetdeniz21
Nasıl robots.txt dosyası oluşturabilirim?

UZMANIN CEVABIMerhaba, robot.txt dosyasını bilgisayarınızdan kolayca oluşturabilirsiniz. Yeni bir metin belgesi oluşturup bu belgeye robots adını verin. Daha sonra bu dosyayı kullandığınız barındırma hizmetinin ana dizinine atın (www dizini gibi.) Robots dosyanızın içeriğine karar vermek içinse yazımızdaki bilgilerden faydalanabilirsiniz. Ayrıca isterseniz http://www.robotsgenerator.com/ adresi de kolayca Robots.txt oluşturmanız konusunda size yardımcı olabilir.

Aklına bir soru mu takıldı? O zaman uzmana sor:

WM Aracı Maskotu Boa WM Aracı © 2010 - 2020
Bir Paşa Bilişim markası.
Cesur.NETWM Aracı Cesur.NET İnternet Teknolojileri'nde güvenle barınmaktadır.