.htaccess dosyasının içine şu satırları koydum:
Order Allow,Deny
Deny from all
Amacım kötü niyetli kişilerin domain.com/robots.txt adresine girip istemediğim şeyleri görmesini engellemekti. Ancak böyle yapınca google bot da robots.txt dosyasına ulaşamıyor. Google bot ya da genel olarak güvenilir crawler'lara ayrıcalık tanıma gibi bir özellik var mı?
Teşekkürler...