Googlebot, robots.txt dosyası tarafından engellendi.

16.04.2019 12:41

reload58 Çaylak Mühendis E-Mail Onaysız

Üyelik 10.02.2014
Yaş/Cinsiyet 28 / E
Meslek Öğrenci
Konum Sivas

Ad Soyad H** A**
Mesajlar 1176
Beğeniler 530 / 286
Ticaret 0, (%0)

Merhaba,

Adsense başvurum sürekli site kapalı, sitenize ulaşamadık mesajıyla red alıyor. Sitem aktif durumda ve hiçbir sorun yok. Search Console 'da bugün bunu fark ettim. Canlı URL Test Et tıkladım. Sonuçlara baktığımda bunu gördüm. Bu normal midir ?

Web sitemdeki Robots.txt:

User-agent: *

Allow: /wp-admin/admin-ajax.php

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /readme.html

Disallow: /license.txt

Disallow: /xmlrpc.php

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /*?*

Disallow: /*?

Disallow: /*~*

Disallow: /*~



User-agent: Googlebot

Allow: /



User-agent: Googlebot-Image

Allow: /wp-content/uploads/



User-agent: Mediapartners-Google

Allow: /



User-agent: AdsBot-Google

Allow: /



User-agent: AdsBot-Google-Mobile

Allow: /



User-agent: Bingbot

Allow: /



User-agent: Msnbot

Allow: /



User-agent: msnbot-media

Allow: /wp-content/uploads/



User-agent: Applebot

Allow: /



User-agent: Yandex

Allow: /



User-agent: YandexImages

Allow: /wp-content/uploads/



User-agent: Slurp

Allow: /



# This robots.txt file was created by Better Robots.txt (Index & Rank Booster by Pagup) Plugin. https://www.better-robots.com/

Resimde bahsi geçen resimdeki robots txt: https://googleads.g.doubleclick.net/robots.txt

User-Agent: *

Allow: /ads/preferences/

Allow: /gpt/

Allow: /pagead/show_ads.js

Allow: /pagead/js/adsbygoogle.js

Allow: /pagead/js/*/show_ads_impl.js

Allow: /static/glade.js

Allow: /static/glade/

Disallow: /

Noindex: /

Göremeyenler: https://i.hizliresim.com/26bRZO.png

Göremeyenler: https://i.hizliresim.com/ZX0adz.png

16.04.2019 13:14

#2

CoaX AmeleMaster Kullanıcı

Üyelik 04.05.2013
Yaş/Cinsiyet 38 / E
Meslek CoaXSEO
Konum İstanbul Avrupa

Ad Soyad M** P**
Mesajlar 1049
Beğeniler 216 / 667
Ticaret 8, (%88)

Hocam şimdi Disallow bildiğiniz üzere istenmeyen dosyaların indexlenmemesi gereken bölüm
Allow ise istediğiniz şeylerin indexlenmesi gereken bölüm.
Zaten disallow da olmayan her şeyi google indexleyeceği için allow kullanmaya gerek yok.

Ancak yol ayrımı olan yerlerde allow kullanmak zorunda kalırsınız.
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
gibi.

Arama botlarını belirtmenizin bir mantığı olduğunu düşünmüyorum.
Bing, Yaho, Google bunları zaten webmaster bölümlerinde sitenizi doğruladınız.
ve siz disallowa almadıkca onlar sitenizi indexleyeceklerdir.

##Örnek bir robots.txt dosyası##
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: http://www.siteadresi.com/sitemap_index.xml
##Bitiş##

Disallow: /xmlrpc.php
xmlrpc eskiden wordpressin kullandığı özel bir araçtı.fakat gelişimler sonrasında artık kulanımı neredeyse bitti gibi.Bu yüzden bundan dolayı çok sayıda açık yaratıyor ve güvenlik sorunu teşkil ediyor. Bunun disallow olması gerekiyor yaptığınız gibi.fakat aşağıda verdiğim kodu onaylatın sonrasında bunu tekrar eklersiniz.

##bunların neden indexlenmemesi gerektiğini düşündünüz.
Disallow: /wp-login.php
Disallow: /wp-register.php

##bunları ftp den silebilirsiniz.
Disallow: /readme.html
Disallow: /license.txt

Google Arama Konsolu hesabınıza giriş yapın ve daha sonra eski Google arama konsolu web sitesine geçin.
Yukarıda verdiğim gibi ekleyin.
Araç, web sitenizin robots.txt dosyasını otomatik olarak getirecek ve eğer varsa hataları ve uyarıları vurgulayacaktır.

2 kişi bu mesajı beğendi.

19.04.2019 12:04

#3

reload58 Çaylak Mühendis E-Mail Onaysız

Üyelik 10.02.2014
Yaş/Cinsiyet 28 / E
Meslek Öğrenci
Konum Sivas

Ad Soyad H** A**
Mesajlar 1176
Beğeniler 530 / 286
Ticaret 0, (%0)

CoaX adlı üyeden alıntı

Hocam şimdi Disallow bildiğiniz üzere istenmeyen dosyaların indexlenmemesi gereken bölüm
Allow ise istediğiniz şeylerin indexlenmesi gereken bölüm.
Zaten disallow da olmayan her şeyi google indexleyeceği için allow kullanmaya gerek yok.

Ancak yol ayrımı olan yerlerde allow kullanmak zorunda kalırsınız.
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
gibi.

Arama botlarını belirtmenizin bir mantığı olduğunu düşünmüyorum.
Bing, Yaho, Google bunları zaten webmaster bölümlerinde sitenizi doğruladınız.
ve siz disallowa almadıkca onlar sitenizi indexleyeceklerdir.

##Örnek bir robots.txt dosyası##
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: http://www.siteadresi.com/sitemap_index.xml
##Bitiş##

Disallow: /xmlrpc.php
xmlrpc eskiden wordpressin kullandığı özel bir araçtı.fakat gelişimler sonrasında artık kulanımı neredeyse bitti gibi.Bu yüzden bundan dolayı çok sayıda açık yaratıyor ve güvenlik sorunu teşkil ediyor. Bunun disallow olması gerekiyor yaptığınız gibi.fakat aşağıda verdiğim kodu onaylatın sonrasında bunu tekrar eklersiniz.

##bunların neden indexlenmemesi gerektiğini düşündünüz.
Disallow: /wp-login.php
Disallow: /wp-register.php

##bunları ftp den silebilirsiniz.
Disallow: /readme.html
Disallow: /license.txt

Google Arama Konsolu hesabınıza giriş yapın ve daha sonra eski Google arama konsolu web sitesine geçin.
Yukarıda verdiğim gibi ekleyin.
Araç, web sitenizin robots.txt dosyasını otomatik olarak getirecek ve eğer varsa hataları ve uyarıları vurgulayacaktır.

Merhaba,

Açıklayıcı cevabınız için teşekkür ederim. Sitemde robots.txt dosyası mevcut değildi. Bunun için wordpress eklentisi kurdum ve kendisi otomatik oluşturdu. Bu dosya ile ilgili net bir bilgim yok maalesef. Yukarıda sizin örnek olarak verdiğiniz kalıp ile değiştirdim dosyayı.

Googlebot, robots.txt dosyası tarafından engellendi.

Üye Girişi Yap