Yukarda bahsettiğim işlemi yaparak sürekli olarak sitene günlük ping gonder Google Botları'nun sitede bulunan robots.txt dosyasını algılamasına ve uygulamasına bağlı. Yukarda belittiğim komut sitemde olan hiç bir şeyi indexleme demek. Botlar bunu anlıycaktır. Sadece Google değil tüm botlar için geçerli bu kod.