Robots.txt, tüm sunucuların ve sitelerin ana dizini içerisinde yer alması gereken botlara karşı verilecek komutları içerisinde barındıran bir bilgilendirme/ayar dosyasıdır. İnternet üzerinde insanlar yerine çalışan birçok bot vardır. Bu botlardan büyükçe bir kısmı ise web sitelerini tarayan ve yeni bir içerik bulduğu zaman arama motorlarına bu sayfaların eklenmesini sağlayan taramaya yardımcı botlardır.
Bu tür botlar web sitemize geldiklerinde ilk iş eğer sahipsek “robot.txt” dosyasına bakmak olacaktır. Bu sayfanın içerisindeki komutlara göre de hareket edecek ve tarama işlemlerini tamamlayacaklardır. Şayet, robot.txt dosyamız yoksa bu tarama botları web sunucumuz içerisinde faydalı veya faydasız tüm her şeyi taramaya çalışacaktır.
Robots.txt Ne İşe Yarar?
Robot.txt dosyası içerisinde belirlemiş olduğumuz kurallar ve komutlar sayesinde başta Google'ın tarama botları olmak üzere tüm tarama botlarına net talimatlar verebiliriz. Örneğin, web sitemizin admin panelleri sadece biz yöneticileri tarafından kullanan ve kesinlikle indexlenmesine gerek olmayan sayfalardır. Eğer Robot.txt içerisine arama motoru botunun burayı boşuna taramayıp vakit kaybetmemesini söylersek dolayısıyla botun işi daha kısa sürecektir. Bu da bizim sitemizi tarama işleminin daha kısa süreceği anlamına geliyor. Tam olarak istediğiniz gibi bir robots.txt dosyasına sahip olmamız hem bizlere işlevsellik kazandırır hem de SEO işlemlerine yardımcı olur.
İnternet Nedir? İnternet Hız Testi ve İnternet Paketleri
İnternet, ABD hükûmeti tarafından geliştirilen bir projenin sonucunda 1990 yılında ortaya çıkmış ve uluslararası bir platform haline gelmiştir. İnternet bugün dünya genelindeki tüm bilgisayar ağlarını düzenli bir sistem sayesinde...
Robots.txt Nasıl Olmalı?
Bir robots.txt dosyasının nasıl olacağı biraz da yöneticinin inisiyatifi altındadır. Zira her web sitesi farklı bir yapıya sahip olduğu gibi farklı bir amaca da hizmet edebilir. Örneğin web sitenizdeki hiç bir içeriğin arama motorları tarafından taranmamasını istiyorsanız;
User-agent: *
Disallow: /
şeklinde bir komut verebilirsiniz.
Ya da web siteniz bir WordPress'e örneğin admin klasörünün taranmaması için;
User-agent: *
Disallow: /wp-admin
gibi bir robot.txt dosyasına sahip olabilirsiniz.
Robot.txt dosyası gereksiz olan tüm ana dizinleri içerisinde barındırmalı ve arama motorlarını bu sayfalar içerisinden uzak tutmalıdır. Böylece robotlar işini daha kısa sürede yapacak ve siz de daha hızlı sonuçlar görmeye başlayacaksınızdır.
Ayrıca http://www.robotsgenerator.com/ gibi hizmetleri kullanarak hangi arama motoru botlarının hangi dizinleri tarayıp hangilerini taramayacağı gibi çok detaylı bir robot.txt dosyası oluşturabilirsiniz.
