"-Disallow: robots.txt dosyasında kullanılan terimdir. Arama motoru botlarına sitenizin hangi bölgelerine erişim izni vermediğinizi bildirir." olması gerek sanırım
Aynı anlama çıkıyor sanki @WebDost. Ama içeriğe bakacak olursak;
Örneğin;
User-agent: *
Disallow: / parametrelerini vererek kaydedersek izin vermemiş;
User-agent: *
Disallow: şeklinde kaydedersek izin vermiş oluyoruz. :)
İki türlü de kullanılırsa anlatımda bir problem olmayacak gibi.