Robots.txt Kullanımı
Robots.txt Google ,Yandex ,Bing gibi arama motorlarının websiteniz üzerindeki erişimini kısıtlayan dosyaladır.Arama motorları websitenizi ziyaret ettiğinde ilk olarak robots.txt dosyanızı kontrol ederler.Çünkü robots.txt dosyanız arama motorları için bir yol göstericidir.Arama motorları robots.txt dosyanıza bakarak yol izlerler.Örneğin robots.txt dosyanız aşşağıdaki gibi olsun.
User-agent: *
Disallow: /admin/
Disallow: /arsiv/
Sitemap: http://siteniz.com/sitemap.xml.gz
Örümcek diye tabir ettiğimiz arama motoru botları otomatik olarak websitesinzde bulunan /admin ve /arsiv klasörlerini taramayacaklardır.Örümcekler bu klasörleri taramadıkları için bu klasörler otomatik olarak arama motoru sorgularına da dahil olmayacaktır.Ayrıca “sitemap” ibaresi site haritanızın hangi dizinde olduğunu belirtmektedir.Google botları robots.txt dosyasındaki sitemap ibaresi ile site haritanızı daha kolay bir biçimde bulup sitenizi daha hızlı indexleyecektir.
Sitemap (Site Haritası) Kullanımı
Sitemap yani Türkçe adıyla site haritası bir websitesinin olmazsa olmazlarındandır.Bir sitedeki tüm web sayfalarının listelendiği dosyadır. Genel olarak ismi “sitemap” ve uzantısı “.xml” olup sitemap.xml şeklinde websitesinin ana dizininde yer almaktadır.Bunun sebebi herhangi bir beşeri etken olmadan arama motorlarının ulaşabildiği sitemap yapısıdır.Websiteniz her güncellendiğinde veya websitenize her bir yeni sayfa girdiğinizde sitemap dosyanıza bu sayfa adresini eklemeniz gerekmektedir.Örnek bir sitemap dosyasını aşşağıdan görebilirsiniz.
Yukarda da görebileceğiniz gibi sitemap dosyaları URL , Priority , Cahnge Frequency ve LastChange diye tabir ettiğimiz 4 adet bölüm ile sınıflandırılıyorlar.
URL : Anasayfanız dahil websitenizde bulunan sayfaların adreslerinin yer aldığı bölümdür.
Priority : Web sayfasının önceliğini belirtmektedir.Arama motorlarının ilk olarak hangi sayfayı ziyaret etmesi geretiğini ve bu sayfanın ne denli önemli olduğunu arama motorlarına bildirmektedir.
Change Frequency : Web sayfasının ne kadar sıklıkla değiştiğini arama motorlarına belirtmektedir.Yukardaki örnekte de görebileceğiniz gibi anasayfa sürekli değişkenken alt sayfalardan bazıları günlük ve haftalık olarak değişebilmektedir.
LastChange : Bu web sayfasında en zon ne zaman değişiklik yapıldığını gösteren ibaredir.
Site haritaları bir çok hazır sistemlerde (WordPress , Joomla , DLE gibi) otomatik olarak oluşturulup güncellenebilmektedir.Benim de şahsen kullanmakta olduğum hazır sistem olan WordPress ‘i kullanan arkadaşlar varsa ” Google Sitemaps XML ” eklentisini indirip kurarak site haritalarını otomatik olarak her yazıdan sonra tek tıkla güncelleyebilirler.
Kaynak : Robots.txt ve Sitemap.xml Kullanımı
