merhabalar web master tools da bir sitem için robotx.txt kısıtlıyor yazmakta. lakin ben bir türlü bulamadım.
site/robots.txt yazınca cıkıyor ama ana dizinde değil bu dosya.