Buray Savas ANIL adlı üyeden alıntı

Tekrar Merhaba Mertcan, öncelikle yapman gereken ftp içerisinde bir robots.txt oluşturmak.

robots.txt içerisine

User-Agent: *
Disallow: /

Yapman yeterli bu sitedeki tüm indexleri eski indexler dahil silecektir eski linkleriniz silindikten sonra yukarıda belirtmiş olduğum / işaretini kaldırmanız yeterli.

User-Agent: * (Tüm Botlar için kullanılır)
Disallow: (Komut sadece index dışı tutulmasını istediğiniz link, url ve dosyalar için kullanılır)
"/" komutu domain adınızdan sonra başlayan url bütünlerinin genelini ve ftp içerisindeki dosyaların tamamı ve sayfalar için engellemek amaçlı kullanılır
Örnek: /bir-kedim-var.html
Ya da
Örnek:
/admim/
/css/
/js/

vb çalışmalar için.

İlk verdiğim komutu boş bir txt dosyasına yazarak ftp ye atın ve ardından txt dosyasının adını robots.txt olarak değiştirin ftp içerisinde domain.com/robots.txt şeklinde görülsün. içerisinde yazdığınız komutu okuyabilin. Dosya izinleri 644 yada 664 olabilir 444 de olabilir ancak zaman zaman 444 ü okuyamıyabiliyorlar.

Tüm indexler silinicektir.

Bu işlemin ardından her gün sitenize ping atın bu sayede botlar daha kısa sürede komut metini anlıycaktır.

Ek Olarak: Bu arada 404 hataları için bu komutu kullanabilir yada wordpress eklentilerinden 404 redirect eklentisini kurarak sorunu halledebllirsin.

htaccess dosyasını txt formatında açarak.

ErrorDocument 404 /index.php

yaparsan hatalı sayfalar ana sayfaya yönlenecektir.