Google Webmaster Tools'da Tarama menüsünün altında URL Parametreleri adlı bölüm var. Eğer URL adreslerinizde standart parametreler var ise, Google bu hataları sıralar. robots.txt dosyanız ile birlikte burada da incelemeler oluştuğunda yaparsanız, istediğiniz ya da istemediğiniz parametreye sahip URL adreslerinin 404 hatası vermesini önleyebiliyorsunuz.

Bununla birlikte WordPress genelde (kategori vb. URL adresleri ile oynamazsanız) çok daha az 404 hatası çıkarır. robots.txt dosyanızın amacı bağlantılara izin vermek ya da vermemektir. (Bkz.)