Robot.txt yi her şeyi indexleyecek şekilde yaparsak çözülüyor mu peki?

Fikri olan yazsın lütfen bir sürü insan var bu sorunu çözemeyen.