Verdiğim kodlar robot.txt için. robot.txt dosyasını temizleyip bu kodları eklerseniz sorununuz çözülür. Aslında robot.txt dosyanızı tamamen temizleseniz de sorun çözülür fakat bu kodlarla gereksiz yerlerin indexlenmesini engellemiş olursunuz, daha faydalıdır. Tabi siteniz wordpress altyapılı ise. Değilse tamamen boş bırakın bu dosyayı.