robots.txt dosyası kodları şöyle
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
acaba eksik yada yanlış bişey varmı
5xx sunucu hatalarının altında sayfayı incelerken, url google da yok diyordu
hata sebebini inceleyin kısmında şu açıklamaları yapmışlar
Sunucu hatası, Googlebot'un URL'nize erişemediği, isteğin zaman aşımına uğradığı veya sitenizin meşgul olduğu anlamına gelir. Sonuç olarak, Googlebot isteği iptal etmeye zorlanmıştır.
Sunucu bağlantısı testi
Dizin Kapsamı Durumu raporu tarafından bildirilen bir sunucu hatasını yeniden oluşturup oluşturamayacağınızı görmek için URL Denetleme aracını kullanabilirsiniz.
Sunucu bağlantısı hatalarını düzeltme
Dinamik sayfa istekleri için aşırı sayfa yüklemeyi azaltın.
Birden fazla URL için aynı içeriği sunan bir site, içeriği dinamik olarak sunuyor demektir (ör.
www.example.com/ayakkabı.php?renk=kırmızı&numara=7 URL'si
www.example.com/ayakkabı.php? www.example.com/ayakkabı.php?numara=7&renk=kırmızı ile aynı içeriği sunar). Dinamik sayfaların yanıt vermesi uzun sürebilir, bu da zaman aşımı sorunlarına neden olur. Veya sunucu, Googlebot'un siteyi daha yavaş taramasını istemek için aşırı yüklenme durumu döndürebilir. Genel olarak, parametre listelerini kısa tutmanızı ve tutumlu bir şekilde kullanmanızı öneririz. Parametrelerin siteniz için nasıl çalıştığından eminseniz Google'a bu parametreleri nasıl kullanmamız gerektiğini belirtebilirsiniz.
Sitenizin barındırma sunucusunun devre dışı, aşırı yüklü veya yanlış yapılandırılmış olmadığından emin olun.
Bağlantı, zaman aşımı veya yanıt sorunları devam ederse, web barındırma sağlayıcınıza başvurun ve sitenizin trafik işleme gücünü artırmayı düşünün.
Yanlışlıkla Google'ı engelleyip engellemediğinizi kontrol edin.
Bir DNS yapılandırma sorunu, yanlış yapılandırılmış bir güvenlik duvarı veya DoS koruma sistemi ya da içerik yönetim sistemi yapılandırması gibi sistem düzeyinde bir sorun nedeniyle Google'ı engelliyor olabilirsiniz. Koruma sistemleri, başarılı bir barındırmanın önemli bir parçasıdır ve genellikle olağandışı bir şekilde gerçekleşen yüksek miktarda sunucu isteğini otomatik olarak engellemek üzere yapılandırılırlar. Ancak, Googlebot genellikle gerçek bir kullanıcıdan daha fazla istekte bulunduğundan, bu koruma sistemlerini tetikleyebilir. Daha sonra, bu sistemler Googlebot'u engeller ve web sitenizi taramasını önler. Bu tür sorunları düzeltmek için, web sitesi altyapınızın hangi bölümünün Googlebot'u engellediğini tanımlayın ve engellemeyi kaldırın. Güvenlik duvarı denetiminiz altında olmayabilir. Bu durumda, konuyu barındırma sağlayıcınızla görüşmeniz gerekebilir.
Arama motoru site tarama ve dizine ekleme işlemlerini akıllı bir şekilde denetleyin.
Bazı web yöneticileri bilinçli olarak, bazen yukarıda açıklandığı gibi bir güvenlik duvarı kullanarak Googlebot'un web sitelerine ulaşmasını engeller. Bu durumlarda, genellikle amaç Googlebot'u tamamıyla engellemek değil, sitenin taranma ve dizine alınma yöntemini kontrol etmektir. Bu sizin için de geçerliyse aşağıdakileri kontrol edin:
Googlebot’un içeriğinizi tarayıp taramadığını kontrol etmek için robots.txt dosyası kullanın ve URL parametrelerini yapılandırın.
Googlebot kullanıcı aracısını kullanan sahte bot'lardan endişeleniyorsanız, bir tarayıcının aslında Googlebot olup olmadığını doğrulayabilirsiniz.
Googlebot'un sitenizi tarama sıklığını değiştirmek isterseniz, Googlebot’un tarama hızında değişiklik yapılmasını isteyebilirsiniz. Barındırma sağlayıcıları, bunu sağlamak için IP adreslerinin sahipliğini doğrulayabilir.