Robots.txt hakkında bilmek istediğiniz her şey bu yazımda mevcuttur.