Robots.txt'e göre de değişir. Oradan ayarladığın komutlardan Botlar indexleme yapar.
Ama bu sitede kısıtlama yok. Az önce baktım siteyi full indexlemesi lazım.