Ik zie niet hoe dat helpt met de meldingen van beveiligingsproblemen (aldus de LLM) die ik in m'n e-mail ontvang. Nogmaals: Open Source, dus iedereen in de wereld kan LLMs loslaten op onze code (en dat gebeurt dus ook). Soms zitten er waardevolle dingen tussen, soms wat minder, maar om dat te extraheren uit de "vulnerability report" die door LLMs gegenereerd wordt is best een uitdaging vanwege de vaak vrij onduidelijke beschrijving.
DaFeliX schreef op donderdag 27 augustus 2026 @ 10:42:
[...]
Ik heb met behulp van LLM's wel een aantal beveiligingsproblemen gevonden in oude code (~ 350.000 regels code). Deze waren vrijwel onmogelijk te misbruiken, maar toch vond ik het fijn om ze gevonden te hebben en te fixen. Maar ondanks dat ik nu meerdere modellen op dezelfde codebase heb losgelaten, heb ik het idee dat toch niet elk probleem is gevonden.
ZIjn er mensen met ervaring hier?
Het liefst draai ik het model lokaal, zodat ik het lekker kan laten
churnen zonder mij druk te maken over de kosten van een 'analyze'. Tot nu toe heb ik echter Copilot en Claude gebruikt.
Ik stuur dan bijvoorbeeld heel erg aan op het vinden van 1 specifiek probleem ("spoor SQL injection op") ipv "zoek alle security issues". De laatste keer dat ik dit deed kreeg ik een lijst van ~ 20 bevindingen, waarvan 1 legitiem en de rest kul was. Het heeft mij wel een dag gekost om de 20 bevindingen te triageren, dus heb niet zoveel zin om dezelfde exercitie weer te doen als daar hetzelfde resultaat uit gaat komen. Ik heb nu dus een beetje het idee dat ik hier niet meer veel uit kan halen, zonder dat ik echt iets anders ga proberen.
Ja, best wat ervaring ondertussen. We hadden een externe (menselijke) audit tegelijkertijd met wat security issues die binnenkwamen op basis van LLM-bevindingen. Beide vonden toch grotendeels andere dingen. Overigens zit er veel verschil tussen de kwaliteit van de LLM-bevindingen, en bij ons zit er dus nog een laag tussen met een mens die de e-mail naar ons opstelt (en hopelijk ook ziet als iets nergens op slaat), maar ik ben vaak ook wel een aantal uur bezig om erachter te komen wat het probleem nou daadwerkelijk is (en of het een probleem is, en of het impact heeft). Wel minder regels code (weliswaar in Rust, ik denk dat de Java-variant drie keer zo lang zou zijn
)
:strip_icc():strip_exif()/u/734655/crop69fb2d19b907a_cropped.jpg?f=community)
:strip_icc():strip_exif()/u/437778/crop684040f89be83_cropped.jpg?f=community)
:strip_icc():strip_exif()/u/269054/crop6064049cee9ab_cropped.jpg?f=community)