Om toch nog even door te gaan op de vraag die ik mezelf stelde, maar ook de vraag van @
Airw0lf wat de kans is dat je een permantente block op een IP adres zet wat onterecht is, heb ik dus alle crowdsec decisions in mijn lijst (ca 230 nu) eens laten matchen (op DNS basis) met de Uceprotect 1, 2 en 3 lijsten.
TL;DR;
Als je de drie UCE lijsten combineerd dan komt 40% van de bans voor in deze lijsten. Je zou dus op voorhand van deze IP adressen de bantijd kunnen verlengen elke week zolang deze in één van de UCE lijsten voorkomt. Anders laten vervallen.
Aan de andere kant zie ik de laatste tijd voornamelijk First Time Offenders, en zou je gewoon CrowdSec zijn werk moeten laten doen omdat het verlengen van de bantijd geen enkele invloed heeft op deze nieuwe IP adressen.
Wat is de betekenis van die UCE lijsten?- UCE Level 1: op IP adres, dus nauwkeurig, en kleine kans op false positives
- UCE Level 2: op subnet, dus grotere kans op missers
- UCE Level 3: op ASN niveau, de meest grove block die UCE kent
En mijn matches op elk level?- UCE-L1 --> 30, 13%
- UCE-L2 --> 49, 21%
- UCE-L3 --> 75, 32%
Alle levels bij elkaar zijn 92 regels (40%) van de 230 die op één of meer van de levels matchen.
Enkel L1 en L2 zijn volgens Metabase 58 regels, dus 25% dekking.
Het geheel is volledig te automatiseren, dus vanaf de cscli decisions list tot aan het matchen en opvragen van ip adressen/ranges:
- UCE L1 is dus een match op ip adres
- UCE L2 geeft bij de details het subnet weer dat je zou moeten blokkeren
- UCE L3 geeft in de basis de ASN, waarvan je de ip ranges bijv. bij whosi.radb.net kunt opvragen
Ik heb de hele CSV ff in Metabase geupload om te bekijken, en dan zie je in ieder geval de usual suspects terug, maar ook heel wat bans die in de UCE lijsten niet voorkomen.
En wat kun je hiermee?
Op zich is het dus mogelijk om een strategie in elkaar te flansen die bepaalde bans blijft uitbreiden afhankelijk in welk level ze voorkomen. Level 1 bijv 3 weken, level 2 2 weken en level 3 1 week. Als je dat elke week doet dan zorgen wijzigingen in deze lijsten ook dat ip adressen/ranges ook weer af kunnen vallen.
Zou het helpen om een flinke reductie in alerts/bans te krijgen?
Met de meest zekere lijst wordt in slechts 13% van de gevallen de ban op voorhand verlengd. Dat is niet echt schokkend. Je kunt ook de ban laten verlopen, en dan CrowdSec gewoon weer een ban laten uitdelen als dat ip adres weer langskomt.
Kijk je enkel of een IP in één van de lijsten zit, dan zou je de ban van ca 40% van de IP adressen verlengen. Dus niet een subnet of ASN blokkeren, maar puur het handhaven van het eerder geblokkeerde IP ares.
Sommige lijsten op internet bevatten ettelijke miljoenen ip adressen, dus dat geeft al aan hoeveel je zou moeten blokkeren op voorhand om een echte flinke reductie te krijgen. Zelfs de CAPI lijst van 15.000 adressen doet de laatste week maar 10% van de 230 bans die nu actief zijn.
Containertje erbij?
Ik heb er wel weer een Postgres container bij en zit nu op 60 containers. De Postgres database is nodig om de uploads in op te slaan. Zo werkt Metabase: een upload moet je aan een database toewijzen om deze te kunnen gebruiken
[
Voor 14% gewijzigd door
Mars Warrior op 10-11-2025 18:06
]