robots.txt nasıl yapılmalı ?
Sayfa içerikleriniz düzenli ve özgün, backlink analizleriniz kaliteli ve organik olabilir. Sosyal medya çalışmalarınız da doğru çalışılmış ve sıralama kaybediyorsanız bunun sebebi Robots.txt dosyanızdan kaynaklı olabilir.
Mesela WordPress altyapısı kullanan bir web siteniz var. On-page seo kurallarını takip ederek seo optimizasyon yaptınız.
Robots.txt dosyasınızda aşağıdaki satırlar varsa. Google benzeri botların css ve javascript dosyalarına erişimini kapatmış olursunuz.
Disallow: /wp-content/
/*.css$
/*.js$
Sistem klasörlerini browser ile açtığınızda, içerisindeki dosyaların listelendiğini görüyorsanız bu izinleri server yapılandırmasını değiştirerek çözmeniz daha doğru olacaktır. Paylaşımlı bir sunucu kullanıyorsanız, sunucu panel ayarlarınızdan klasör izinlerini düzenleyin. Doğru yapılandırılmış bir 404 sayfasızın olması önemli. Panel ayarlarınız klasör izinlerini değiştirmenize izin vermiyorsa, her klasörün içerine içinde
kodu içeren yönlendirme index.html atmanızda basit bir çözüm olabilir. Tavsiyemiz her zaman sunucu tabanlı çözümlerin daha doğru olacağı yönünde.
CSS ve Javascript dosyalarının indexlenmesi neden bu kadar önemli ? Birçok seo uzmanı arama motorlarındaki sıra kaybedişlerin nedeni olarak yeni algoritmaları neden göstermiş. Evet yeni algoritmalardan kaynaklanıyor ve yeni algoritmalar sayfanızdaki css ve javascriptleri de artık değerlendirmeye tabi tutuyor. Eğer bu dosyalara erişim engelli varsa, sayfa kısmi olarak index alıyor. Binlerce sayfanız varsa ve ulaşılamayan her sayfa için siteniz değer kaybediyor. Eski dostunuz robots.txt yeni algoritmalar ile düşmanınız olmasın.
Bu konu geçmişte de gündeme getirildi ve artık sıralamada çok daha fazla önem kazandı. Google’ın bu konuya verdiği önemi anlatan bu video 2012 yılında sunulmasına rağmen, robots.txt düzenleme ile ilgili makalelerde yukarıda verdiğimiz yanlış örnekler tavsiye olarak halen anlatılmakta.
Video kaynağı google : (ingilizce)
https://www.youtube.com/watch?v=B9BWbruCiDc
Ayarları yinede robots.txt ile çözmek isterseniz, css ve javascript klasör yollarına tek tek izin vermelisiniz.
Robots.txt
User-Agent: Googlebot
Disallow: /wp-content/
Allow: /wp-content/themes/tema/js/*.js
Allow: /wp-content/themes/tema/js/altklasor/*.js
Allow: /wp-content/themes/tema/css/*.css
Robots.txt ayarları tavsiye etmememiz deki sebep yaptığınız ayarları her tema değişimi ve eklenti
kurulumunda yenilemeniz gerektiği ve unutabileceğiniz içindir. Sizler için her zaman en doğru
ve güncel içeriği araştırmaya çalışıyor ve yenilikleri her gün takip ediyoruz.
Seo Şefi
