Linux serverda php site kullanıyorum video sitesi google yeni eklenen adult içeriklere erişmesin istiyorum mesela en son ziyaret ediceği zamandan itibaren sadece eski indexleri tutsa yenilere hiç bakmasa gibi bir kod yokmu ?
robots.txt dosyası oluşturup kategori veya sayfa adlarını manuel girebilirsiniz.
bu şekilde sadece belirltilen kategorilere veya sayfalara örümcekler erişemiyecektir.
User-Agent: *
Disallow: /url-1
Disallow: /url-2
Disallow: /url-3
Disallow: /kategori