Crawler yakalamak için tool yazarım diye düşünüp GitHub araması yaptım.(belki yazan vardır gerek yok diye) Karşıma bu iş için bir adet firma çıktı, kendisini amaç edinmiş üşenmemiş tüm botları yakalayıp ip bilgisinden ua bilgisine kadar gelip gitme sıklığına lokasyonuna kadar datayı toparlamış bile.

https://udger.com/resources/ua-list/crawlers

keremsamet