Robot.txt dosyası genellikle eklemek amacıyla değil engellemek amacıyla kullanılır bundan dolayı sakıncalı bir dosyadır. Benim karşılaştığım en iyi örnek sahibindendir aynı zamanda şaşırtıcı olanı ( yandex'in siteyi indexlemesini komple engellemiş)
Eğer bir e-ticaret siten (kredi kartı bilgilerinin alındığı sayfayı engelle, Kullanıcı sözleşmesini engelle) yoksa veya özel veriler barındırmıyorsan robot.txt i fazla kurcalamana gerek yok
Sitemap ise aslında bir değer mekanızmasıdır. Bu mekanizmayla robotlara neyin senin için ne kadar değerli olduğunu anlatırsın bunun için 0,1-1 arası bir numaralandırmayla
Bu iki olgunun kullanılması aslında zamandan ve mekandan tasarruf etmektir. Dolayısıyla çok derin içerik veya benzeri şeylere sahip değilsen çok fazla bir esprisi yok diyebiliriz. Sonuçta robotlar sayfa derinliği arttıkça önem derecesini de azaltır. Gereksiz sayfaları onlara okutmanız asıl hedefiniz olan sayfanın robotların gözünde değerinin düşmesi demektir.
Meta tag konusunda ise ne sorduğunu ve ne istediğini daha net olarak anlatırsan belki yardımcı olabilirim.
Mesajda yazdığın gibi keywords tag'in hiç bir önemi yoktur Google gözünde. Google meta keywordsleri okumaz ama yararı olacağını düşünüyorsan diğer arama motorları için kullanabilirsin. Burada kullanacağın keywordsleri title ve desc içinde geçirmen daha yararlı olacaktır.