Robots.txt ne işe yarar

Merhabalar,

Arkadaşlar öncelikle Robots.txt Nedir Tam olarak açıklarmısınız

ve siteme ne faydası olacak daha yeni site 5 günlük felan Siteme Gitmek icin

Arama motorlarının indeksleme robotları bir web sitesine ulaştıklarında ilk olarak kök dizinde bulunan robots.txt dosyasını ararlar. Bu dosya robotlara hangi sayfaların indekslenip hangilerinin indekslenmeyeceğini anlatmak için yerleştirilir. Robotlar sadece kök dizindeki robots.txt dosyasına bakacakları için alt dizinlere bu dosyayı yerleştirmek anlamsızdır. Eğer alt dizinlerden birisine ait url (veya url’lerin) indekslenmesini istemiyorsanız bunlar da kök dizindeki robots.txt dosyasında bildirmeniz gerekiyor. Ya da alternatif olarak indekslenmesini istemediğiniz sayfalarda Meta Tag kullanabilirsiniz. Çoğu ücretsiz blog servisi kök dizine erişime izin vermediğinden Meta Tag’lardan yararlanmak gerekecetir.

Örnek bir robots.txt adresi şu şekilde olmalıdır;

http://www.acemiblogcu.com/robots.txt
veya
http://acemiblogcu.blogspot.com/robots.txt

Aşağıdaki örneklerdeki robots.txt dosyaları ise, bulundukları hatalı pozisyon nedeni ile, robotlar tarafından dikkate alınmayacaklardır;

http://www.acemiblogcu.com/fotograflar/robots.txt
veya
http://acemiblogcu.blogspot.com/ozel/robots.txt

... [Detaylı bilgi ve kaynak]

Not: Domainin Güzelmiş (: Satmayı düşünürsen görüşelim.

Peki Teşekkürler.

Ek Olarak: Peki bir sorum daha olucak bugün siteme 1 tane bot 13 tane yabancı yorum yazmıştı. Sebebi nedir acaba ?

Hocam robots.txt botların rotasıdır bir nevi.Yani sen onların indexlemesini ve indexlemesini istemediğin yerleri yazıyorsun ve onlarda geldiğinde ona göre indexliyorlar.

Ek olarak sorduğun şey ise onlar spam botlardır.Akismet eklentisini kur ve anahtarını gir.

Teşekkürler hocam..

Robots.txt

Olmuşmu hocam ?