dokuzcuk adlı üyeden alıntı

yilmaz70 wordpress için site haritası linkini de ekledikten sonra bu robots.txt dosyası yeterli olur mu?


Google zaten istediği yere erişebiliyor aslında. Nezaketen soruyor sadece :)

Ve biz plugin gibi yerleri disallow edersek analizlerde bize hata olarak geri dönüyor.

Bu yüzden standart bir robots.txt dosyası yeterlidir.