Google PageSpeed üzerinde ki mevcut hatalarınız nedir? Eğer kontrol edip o hataların olmadığına eminseniz aldırış etmeyin, cache varsa temizleyin.
Ancak sitenizde Google'da belirtilen hatalar mevcutsa bence orayı dikkate alın. Şahsen ben GTMetrix'i alternatif olarak kullanıyorum. Adwords reklamlarında ve SEO açısından hız değerlendirmesinde Google kriterleri önemli.