pen-test as a service [ptaas] ervaringen

[air2]

Hallo medetweakers. Zelf werk ik bij een software bedrijf waar we een organisatie hebben ingehuurd om de cloudsoftware die we bouwen ook te pen-testen. Ze leveren eens in de zoveel tijd een rapport op met hun bevindingen. Persoonlijk vraag ik me af hoe goed ze zijn. Daar heb ik niet echt zicht op, wel weet ik, dat ik zelf een vrij simpele hack ontdekte in ons eigen product, waarvan het me bevreemd dat dit niet uit de rapportage kwam, maar ik ben me er ook wel van bewust dat een pen-test helemaal niet zaligmakend is en je een probleem ook maar net moet vinden.

Dus toen vroeg ik me af, wat zijn jullie ervaringen met bedrijven die ptaas aanbieden. Hebben jullie er wat aan of is het meer een vinkje in het verkoopkanaal, dat ze kunnen zeggen dat de software getest wordt.

Vinden jullie zelf meer problemen dan de pen-testers? Hebben jullie misschien ervaring met meerdere pen-test bedrijven? Zo ja hoe verhouden die zich tot elkaar?

Het kan denk ik handig zijn om een beetje een overzicht te krijgen van de kwaliteit van deze bedrijven.

[Knul]

N=1, maar onze pentest club vindt eigenlijk altijd wel wat in al eerder gepenteste software. Dat zal andersom ongetwijfeld ook het geval zijn. Hangt natuurlijk af van tal van factoren af (scope, tijd, etc).

Zoals je zelf ook schrijft is een pentest geen garantie op een 100% veilig systeem.

[CyBeRSPiN]

Wat doen ze precies? Een paar tools zoals Qualys en Burb Suite loslaten, false positives eruit en een rapportje?
Of proberen ze echt het systeem te begrijpen en te hacken?

[DukeBox]

En hebben we het over een white, grey of blackbox test?

Hier doen we om het half jaar applicatie pen test (white) en infra pen test (grey). Daarnaast loopt er een continue geautomatiseerde scan voor CVE's en evt. verouderde versies.
Zoals eerder genoemd komt er altijd wel iets boven, meestal iets kleins maar ook wel eens iets dat echt pijn had kunnen doen. Vaak ook wel dingen die we weten maar nog geen tijd hebben gehad om écht netjes op te lossen of waarvan de impact minimaal is (lees: geen data lek maar bijv. kans op vastlopen van iets).

Meerdere jaren ervaring met fox-it (voordat het NCC werd), dearbytes (voordat het KPN werd) en op dit moment outpost24. Andere partijen ook maar vaak eenmalig of overlappend i.v.m. consolidaties.
Vroeger gaf het overstappen van partij nog wel eens nieuwe inzichten, de laatste tijd heb ik het idee (mede omdat wij de boel ook best op orde hebben) de verschillen minimaal zijn, ook qua werkwijze heb ik niet heel veel verschillen gezien bij deze partijen.

edit:
Soms moet je het overigens ook wel treffen met de pentester, iemand die de applicatie een beetje begrijpt of iets meer uitdaging heeft en vind. Heb meermaals gehad dat de tester contact opnam om te vragen of hij wat verder mocht gaan dan de afgesproken grenzen. De rapporten zijn ook altijd erg uitgebreid incl. de manieren om issues te reproduceren. Dat laatste is voornamelijk handig als externen verantwoordelijk zijn voor het oplossen, dan kan je zelf ook meermaals een re-test doen.

[ Voor 129% gewijzigd door DukeBox op 21-10-2025 13:42 ]

[air2]

Allemaal goede vragen. Bij ons bedrijf gaat het om Deloitte en doen ze voor zover ik weet, niet enkel een tooltje draaien, maar goed. Persoonlijk zie ik hun rapportage niet. Ik kan daar wel ens achter aan gaan. Voor een ander product waar ik aan werk zoek ik een goede pen test club en ik vraag me af hoe betrouwbaar deze club is, daarom ben ik benieuwd naar andere ervaringen.

[ Voor 0% gewijzigd door air2 op 21-10-2025 13:11 . Reden: spelfout ]

[Kip]

Ik heb ervaring aan beide kanten. Zowel als klant van de partij die je noemt voor applicatietesten, over meerdere jaren, als in het zelf uitvoeren van testen. Over het algemeen waren ze behoorlijk goed.

Zoals gezegd, komt het uiteindelijk neer op wat je als opdrachtgever vraagt. Sommige grote partijen besteden het werk uit aan andere landen, wat van invloed kan zijn op de kwaliteit van de test. Let hier ook op als het om gevoelige systemen gaat. Ook maakt het verschil of de test wordt uitgevoerd door een junior of een senior tester.

Het is belangrijk dat de werkwijze en eventuele beperkingen duidelijk worden beschreven in het testrapport. Ik zou dan ook aanraden om dat rapport goed te bekijken.

Voor een complete web app test zou ik adviseren om de OWASP ASVS-categorieën te laten testen, en per categorie vast te leggen wat de resultaten waren. Nog beter is om ook tijdens de ontwikkeling van de applicatie de ASVS te volgen.

Wat betreft het missen van een simpele kwetsbaarheid. Leg dit voor aan de partij die de test heeft uitgevoerd. Als het een simpele kwetsbaarheid was, en het zat er ook in tijdens de test mag je ook gaan twijfelen of alles goed is getest. Een goede partij wil je hierin nog tegemoetkomen komen door de test opnieuw uit te voeren door een andere tester. (Of een deel van de test)

Controleer daarnaast tijdens de test of alle unieke functionaliteiten daadwerkelijk worden gebruikt en getest. Bijvoorbeeld door dit te volgen via de access logs. Of zelf een lijst van functionaliteit bij te houden en door de testers dit door te laten nemen.

[Ruben279]

Hadden laatst een pentest uit laten voeren voor een dienst die we aanbieden op het web.
Werd getest op een grey/white box niveau. Enige wat we terugkregen waren wat resultaten van nmap scan met o.a. cipher scan.
Tja, dat had ik zelf ook wel kunnen testen...

Maar verder wordt er geen woord gerept over de client authenticatie etc., daar was ik nou juist wel benieuwd naar. Omdat ze met een grey/white box te werk gingen, wisten ze dus redelijk hoe het systeem in elkaar zit en wat de ingangsmogelijkheden waren.

Daar wordt dan totaal niet op ingegaan. Dan is het echt zonde van het geld, daarvoor kan ik zelf heel vaak de Qualys SSLLabs scanner laten draaien

Dus voor de volgende keer misschien maar eens op zoek naar een andere partij...

[Orangelights23]

@Ruben279 Goede tip dus om de scope en werkwijze de volgende keer expliciet te benoemen in de offerte. Mijn team voert veel pentesten uit bij klanten en dit soort verwachtingen zetten we altijd in de offerte.

[air2]

Even voor mijn beeldvorming, ik ben een echte noob op dit gebied. Maar wat is het verschil tussen grey/white box?

[Falcon]

air2 schreef op dinsdag 21 oktober 2025 @ 13:09:
Allemaal goede vragen. Bij ons bedrijf gaat het om Deloitte en doen ze voor zover ik weet, niet enkel een tooltje draaien, maar goed. Persoonlijk zie ik hun rapportage niet. Ik kan daar wel ens achter aan gaan. Voor een ander product waar ik aan werk zoek ik een goede pen test club en ik vraag me af hoe betrouwbaar deze club is, daarom ben ik benieuwd naar andere ervaringen.

Ik zou zeggen begin daar eerst mee, want in die rapport staat vaak met zeer veel details uitgelegd wat hun opdracht was en wat er precies getest is.

Klopt het daarna dat zij die bevinding niet hebben gevonden, dan zou ik dit teruggeven en laten onderbouwen waarom. Leuke korting op de volgende factuur als gevolg.

Uiteindelijk blijft het mensenwerk.

Ik ben zelf meer te spreken over een penetratietest op basis van Bug Bounty. Zoals bijv. Zerocopter dit aanbied. Maar goed ook daar heb ik mij weleens afgevraagd waarom een bepaalde bevinding niet was gevonden.

[ Voor 4% gewijzigd door Falcon op 03-11-2025 13:55 ]

[Orangelights23]

air2 schreef op maandag 3 november 2025 @ 13:44:
Even voor mijn beeldvorming, ik ben een echte noob op dit gebied. Maar wat is het verschil tussen grey/white box?

Whitebox: toegang tot alles (infra, source code, alle URL's, enzovoorts). Grey: slechts beperkte hoeveelheid, zoals een paar namen van gebruikers of toegang tot een klein deel van de infra.

[BytePhantomX]

Aan de vraag van @air2 kun je wel een essay wijden. Als het gaat om pentesten kunnen er vele varianten zijn. Van een vulnerability scan, tot tonnen kostende red team oefeningen (dat zijn dan wel testen op infrastructuur niet alleen een web app).

En dan kan ook het doel van de test nog verschillen. Voor een vinkje, want het moet volgens ISO/SOC2/etc. Of omdat je echt veiliger wil worden. De eerste categorie zou ik zo goedkoop mogelijk oplossen met een partij die buitenlandse testers inzet. Bij de laatste wil je eigenlijk ook de testers (fysiek) spreken om te horen wat zij hebben gedaan en hoe zij tot hun bevindingen zijn gekomen.

Mijn beeld is dat web applicaties testen een beetje commodity werk is en niet veel pentesters daar lang blijven hangen. Dus je zal ook niet de beste testers krijgen. Ook niet elke pentest club zal die testen willen uitvoeren. Bij mijn weten besteden de grotere clubs het bijvoorbeeld ook uit aan personeel in het buitenland (o.a. Fox-IT) om te kunnen concurreren op prijs (niet dat het daarmee slechte kwaliteit is). Deloitte staat bij mij overigens ook goed bekend. Daarnaast kun je denken aan Bureau Veritas (voorheen Secura), Northwave, Mnemonic (Noors bedrijf, met Nederlandse vestiging), Defion (voorheen Computest Security). FalconForce en Outflank zijn wat mij betreft echt de toppers, echter doen die volgens mij alleen bijzondere en grotere infrastructuur opdrachten.

Wat ik persoonlijk vooral interessant vind is om te leren van zo'n tester. Hoe zit zijn creatieve proces in elkaar, wat zijn de standaard dingen waar hij naar op zoek gaat etc. Dan ben je niet meer bevindingen aan het oplossen, maar kun je in de toekomst ook meer denken als een hacker en bij voorbaat dingen voorkomen. Dat vereist echter wel dat je de persoon kan spreken en die persoon het ook uit kan leggen.

[air2]

Wat ik persoonlijk vooral interessant vind is om te leren van zo'n tester. Hoe zit zijn creatieve proces in elkaar, wat zijn de standaard dingen waar hij naar op zoek gaat etc. Dan ben je niet meer bevindingen aan het oplossen, maar kun je in de toekomst ook meer denken als een hacker en bij voorbaat dingen voorkomen. Dat vereist echter wel dat je de persoon kan spreken en die persoon het ook uit kan leggen.

Dat stukje hebben we bij ons bedrijf onlangs gedaan dmv een cursus hacken, waarbij alle ontwikkelaars leerden hacken. Eerst wat theorie en daarna ook praktijk. Erg leerzaam.

[kipppertje]

Pentester hier. Ik heb inmiddels meer dan 600 rapporten op mijn naam staan, dus ik ga al even mee. Wat het lastig maakt is dat het mensenwerk is. Als pentester word je geacht om binnen een paar dagen de applicatie te leren kennen en daarbovenop in de experts (nou ja, meestal) die er vaak al jaren aan gebouwd hebben te vertellen wat ze mis hebben gedaan. Ook als ze een nieuwe techniek gebruiken die je nog niet eerder hebt gezien. Klinkt onmogelijk? Ik durf te zeggen dat ik er inmiddels aardig goed in ben geworden.

Dat gezegd hebbende, als er complexe bedrijfsprocessen in zitten die ik niet ken en mij niet uitgelegd worden, dan is de kan best wel aanwezig dat ik iets over het hoofd zie. Daarnaast krijg ik zelden genoeg tijd om de applicatie echt zo goed te leren kennen als de ontwikkelaars en beheerders, dus moet ik steekproefsgewijs te werk gaan. Als je een week de tijd krijgt om een grote applicatie te testen ga je gewoon niet alles vinden, maar een goede pentester zal er in de meeste gevallen wel de meest pijnlijke dingen uithalen. En soms ook niet. Dat is waarom het goed is om vaker dan 1x een pentest uit te laten voeren. Ik heb vaak zat dingen gevonden die mijn collega's niet hebben gevonden, en andersom zal dat wellicht ook wel gebeurd zijn.
*knip* geen acquisitie/reclame.

[ Voor 3% gewijzigd door F_J_K op 17-11-2025 16:08 ]

[F_J_K]

kipppertje schreef op maandag 17 november 2025 @ 15:55:
Als pentester word je geacht om binnen een paar dagen de applicatie te leren kennen en

Applicatie, enkelvoud? Daar zit een denkfout. Zelfs als je ingehuurd bent kwetsbaarheden te vinden in 1 specifieke maatwerkapplicatie of -inrichting, dan zijn er ook andere applicaties relevant. De aanleverende keten, de kantoorautomatisering van de gebruikers en beheerders, etc.

Sowieso is er verschil tussen een pentest op 1 zelfbouwapplicatie en een pentest van een landschap met vele honderden lokale, ASP, en SaaS-applicaties,

Dat is waarom het goed is om vaker dan 1x een pentest uit te laten voeren.

En ook regelmatig wisselen van partij. Slecht voor de kennis over onze organisatie, processen en tools, goed voor dat heel verschillende ogen naar heel verschillende dingen kijken.

Ik heb geen ervaring met ptaas, alleen met 'gewone' pentests. Met hele goede ervaringen met kleine organisaties, minder met grote. Stom, maar de beste ervaringen waarschijnlijk met studenten die het er bij deden. Niet omdat ze de meeste kennis of beste tools hebben maar omdat ze niet de beschikbare uren testen om dan naar de volgende klant te gaan, maar omdat ze met aandacht blijven graven. Meer dan eens meegemaakt dat zulke mensen pijnlijke kwetsbaarheden vonden nadat er een tranentrekkend mooi rapport lag van een van de grote kantoren dat het wel goed zat.

[BytePhantomX]

F_J_K schreef op maandag 17 november 2025 @ 16:16:
[...]

Applicatie, enkelvoud? Daar zit een denkfout. Zelfs als je ingehuurd bent kwetsbaarheden te vinden in 1 specifieke maatwerkapplicatie of -inrichting, dan zijn er ook andere applicaties relevant. De aanleverende keten, de kantoorautomatisering van de gebruikers en beheerders, etc.

Sowieso is er verschil tussen een pentest op 1 zelfbouwapplicatie en een pentest van een landschap met vele honderden lokale, ASP, en SaaS-applicaties,

Als opdrachtgever moet je inderdaad breder denken dan 1 applicatie, maar vanuit kostenperspectief begrijp ik wel dat er een scope wordt bepaald en niet alles getest wordt. Anders zou het onbetaalbaar worden, zeker als organisaties groter en complexer worden.