Software Security Testing

[sh4d0wman]

De afgelopen jaren (+-10, ben nu 33) heb ik gewerkt in systeem-/netwerkbeheer en cyber security (grotendeels defensief, enige ervaring met vulnerability assessments en penetration testing).

Na al dit werk ben ik er eindelijk achter gekomen wat ik leuk vind om te doen: bughunting oftewel software security testing. Ik ben op dit gebied autodidact en loop nu tegen een plafond aan dus ik zoek wat input.

Ik maak voornamelijk gebruik van dynamic analysis en heb ervaring met het testen van web applicaties, embedded systemen en werk nu aan Windows specifieke kennis (activex, drivers, memory corruption).
Voor het testen maak ik gebruik van tooling op Kali en Windows specifieke software. Sommige taken probeer ik door middel van scripting te automatiseren. Door het boek voor ISTQB ben ik in aanraking gekomen met testplannen, unit tests, etc.

Vraag 1: wat is de beste manier om hier een carriere van te maken? Heel af en toe komen er wel eens vacatures voorbij op online vacature sites. Probleem 1, ik woon niet in NL :-) Probleem 2, de meeste vragen voor test ervaring. Ik ben nu aan het kijken naar ISTQB certificering om een basis te hebben en verder zit ik aan ZDI + een bug bounty programma te denken om een soort portfolio mee op te bouwen.

Vraag 2: ik kan simpele bugs vinden zoals injection (cmd, sql, xml, etc), memory corruption (stack/heap/seh overflows), business logic errors etc. Echter loop ik bij fuzzing vast op het analyseren van crash informatie om te bepalen of een bug wel/geen security bug is en zo ja, wat precies. Als EIP opeens overschreven is dan is het vrij duidelijk. !Exploitable geeft wel een indicatie met windbg maar ik wil de basis leren en niet alleen op tooltjes vertrouwen. Wie weet hier goede resources voor? Ik heb op Corelan wat bruikbare info gevonden.

[DieVeenman]

Misschien is het een idee om even te kijken of deze certificaten haalbaar voor je zijn: MCITP, MCPD en MCSD

[sh4d0wman]

Thanks, de meeste certificaten zijn retired.

Binnen de MTA sectie zie ik de volgende opties welke wellicht interessant zouden kunnen zijn:
Track Product Exam Name
Development Visual Studio 98-379 Software Testing Fundamentals
Development Visual Studio 98-361 Software Development Fundamentals
IT None 98-367 Security Fundamentals (waarschijnlijk al bekend, zal de inhoud eens opzoeken)

Verder deze link tegengekomen welke wat meer inzicht geeft in debuggen van bepaalde (meest C/C++) bugs: http://www.cprogramming.com/debugging/segfaults.html

Meer suggesties, met name op gebied van werkgelegenheid, zijn welkom

@john: inderdaad, daarom ben ik ook bezig om een portfolio op te bouwen van gevonden vulnerabilities.
Pentesting was leuk voor even maar 0-days vinden is leuker Nadeel van zelf alles uitpluizen is dat je dingen verkeerd kunt aanleren daarom liever iets officieels op test gebied. Security testing zal echter vaak wel uitbesteed worden denk ik en bij zulke firma's binnen komen is lastig...

[ Voor 23% gewijzigd door sh4d0wman op 13-11-2015 06:57 ]

[johnkeates]

DieVeenman schreef op donderdag 12 november 2015 @ 09:19:
Misschien is het een idee om even te kijken of deze certificaten haalbaar voor je zijn: MCITP, MCPD en MCSD

Certificaten zijn leuk, maar zeggen juist als je als pentester of white hat aan de slag wil nagenoeg niets.

[Bv202]

sh4d0wman schreef op vrijdag 13 november 2015 @ 03:08:
Thanks, de meeste certificaten zijn retired.

Binnen de MTA sectie zie ik de volgende opties welke wellicht interessant zouden kunnen zijn:
Track Product Exam Name
Development Visual Studio 98-379 Software Testing Fundamentals
Development Visual Studio 98-361 Software Development Fundamentals
IT None 98-367 Security Fundamentals (waarschijnlijk al bekend, zal de inhoud eens opzoeken)

MTA moet je niet naar kijken, dat zijn examens bedoeld voor mensen die net weten hoe ze hun computer moeten opstarten

[sh4d0wman]

Hehe thx, die indruk had ik al maar nog niet echt naar de content gekeken Ik ben er al wel achter dat een deel van de zaken die ik nu zelf doe binnen de testwereld een fancy naampje hebben "test plan", "unit test", "threat model" etc.

Wat ik op dit moment doe:
- Zoeken naar een interessant test object. Bijvoorbeeld een router, deze heeft vaak wat minder exploit mitigatie dan de moderne Windows systemen (hier moet ik me nog wat verder in verdiepen).
- Checken welke vulnerabilties er gevonden zijn voor dit model en andere producten van de fabrikant.
- Periodiek exploit-db bekijken voor inspiratie, indien nodig een product opnieuw testen.

- Checklist doorlopen of scriptjes draaien voor bekende vulnerabilities (cwe-classificatie) op bekende locaties (b.v. web management, network daemons, API's, vendor software).
Hierbij focus ik alleen op: Remote Code Execution, Privilege Escalation, Information Disclosure/Logic Errors, aangezien de rest van de bugs niks tot weinig oplevert in bug bounty programma's.

- Indien dit niks oplevert: kijken waar userinput mogelijk is -> fuzzen
Te leren: analyseren van de crash info welke doormiddel van fuzzing is genereerd.

[sh4d0wman]

Zoals verzocht in TR, graag een schopje naar BV voor meer input a.u.b.

[DiedX]

Volgens mij moet je zo een baan hebben. Maar waar woon je dan?

[sh4d0wman]

Thailand & Cambodja Hier speelt mee dat ik geen HBO diploma heb, in NL zou een bedrijf daar iets minder moeilijk over doen. Mogelijke werkgevers zouden dan wellicht Fox-IT, Pine, Madison Gurkha, NCSC/NCTV, Leger: Cyber Command zijn. Nog andere bekende namen?

Online werk buiten bugbounties is wellicht beschikbaar bij IBM of HP maar dan zit je meestal in de pentest hoek. Bij de specialistische test firma's vraagt men vaak een developers background en dat heb ik niet of moet je bijvoorbeeld US national zijn (of security clearance verkrijgen).

ZDI en bounty programma's lijken mij dan het meest praktische tenzij ik naar NL kom.

[NMe]

sh4d0wman schreef op zondag 15 november 2015 @ 08:23:
Zoals verzocht in TR, graag een schopje naar BV voor meer input a.u.b.

Vooruit.

[F_J_K]

Je zult tijdens enig testen geen persoonsgegevens mogen inzien die ontstonden in Europa, aangezien die AFAIK niet (zomaar) in Thailand of Cambodja mogen worden verwerkt. En ze inzien doordat je een exploit test, is verwerken. Ik ken amper live systemen, of 'zelfs' test-/acceptatieomgevingen zonder persoonsgegevens.

Gaat dat evt. werk(-gever) niet te veel beperken?

[Bor]

johnkeates schreef op vrijdag 13 november 2015 @ 03:34:
[...]


Certificaten zijn leuk, maar zeggen juist als je als pentester of white hat aan de slag wil nagenoeg niets.

Integendeel juist. Als je bij bedrijven aan de gang wilt als pentester zul je je kennis / kunde echt moeten kunnen aantonen door middel van certificaten en / of opleidingen. Op alleen (niet aantoonbare) ervaring zul je veelal niet aan een klus komen, zeker niet bij de grotere bedrijven.

[johnkeates]

Bor schreef op zondag 15 november 2015 @ 16:01:
[...]


Integendeel juist. Als je bij bedrijven aan de gang wilt als pentester zul je je kennis / kunde echt moeten kunnen aantonen door middel van certificaten en / of opleidingen. Op alleen (niet aantoonbare) ervaring zul je veelal niet aan een klus komen, zeker niet bij de grotere bedrijven.

Daarom schreef ik ook niet 'je hebt geen certs nodig okdoei' Ik doelde meer op het feit dat je na de voorselectie doorgekomen te zijn je naast standaard tests die nagenoeg geautomatiseerd kunnen werken meer out of the box en op basis van ervaring en kennis moet werken als je echt meer wil bieden dan iemand die ook HP Fortify kan laten draaien, of metasploit op z'n USB stick heeft staan.

[Thralas]

Bor schreef op zondag 15 november 2015 @ 16:01:
Integendeel juist. Als je bij bedrijven aan de gang wilt als pentester zul je je kennis / kunde echt moeten kunnen aantonen door middel van certificaten en / of opleidingen. Op alleen (niet aantoonbare) ervaring zul je veelal niet aan een klus komen, zeker niet bij de grotere bedrijven.

Dat is aardig als je ambieert om gecertificeerd logo'tjes van Nessus-rapporten weg te poetsen of jezelf daadwerkelijk moet verkopen (al dan niet aan een derde).

Voor functies met meer technische invalshoek/diepgang maakt het geen bal uit welke certificaten je hebt; sterker nog, de interessantste werkgevers zijn dan degene die geen CISSP, CEH of ander securityveterstrikdiploma vragen.

'Tis maar net wat je zoekt, de een wordt er blij van om bij schemerlicht software te analyseren, de ander scheurt graag in z'n leasebak naar klanten ipv. de hele dag achter een scherm te zitten.

sh4d0wman schreef op donderdag 12 november 2015 @ 08:11:
Vraag 1: wat is de beste manier om hier een carriere van te maken? Heel af en toe komen er wel eens vacatures voorbij op online vacature sites. Probleem 1, ik woon niet in NL :-)

Heb je de hiring threads in /r/netsec en /r/reverseengineering wel eens bekeken?

'Probleem 1' blijft een redelijk groot issue, tenzij je remote kan (en wil) werken. Het Nederlandse securitywereldje is al niet zo groot, ik vrees dat het in Cambodja niet heel veel groter is

Ik ben nu aan het kijken naar ISTQB certificering om een basis te hebben en verder zit ik aan ZDI + een bug bounty programma te denken om een soort portfolio mee op te bouwen.

Certificeringen en een bugbounty/CVE-portfolio hebben m.i. twee totaal verschillende doelen.

Vraag 2: ik kan simpele bugs vinden zoals injection (cmd, sql, xml, etc), memory corruption (stack/heap/seh overflows), business logic errors etc. Echter loop ik bij fuzzing vast op het analyseren van crash informatie om te bepalen of een bug wel/geen security bug is en zo ja, wat precies. Als EIP opeens overschreven is dan is het vrij duidelijk. !Exploitable geeft wel een indicatie met windbg maar ik wil de basis leren en niet alleen op tooltjes vertrouwen. Wie weet hier goede resources voor? Ik heb op Corelan wat bruikbare info gevonden.

Corelan is dan ook meteen een van de beste (gratis) resources voor Windows exploitation. De beste resource is nog wel om zelf aan de slag gaan (exploit exercises, overthewire, smashthestack, pwnable.kr). Als je daar een eind doorheen komt worden dat soort zaken vanzelf een stuk duidelijker.

Zou ook vooral niet teveel tijd steken in het analyseren van fuzzed crashdumps met het idee er beter van te worden, de willekeur die eraan te grondslag ligt icm. de complexiteit van grote softwareprojecten of een totaal gebrek aan broncode maken het ook heel erg lastig.

[Bor]

Thralas schreef op zondag 15 november 2015 @ 19:55:
[...]


Dat is aardig als je ambieert om gecertificeerd logo'tjes van Nessus-rapporten weg te poetsen of jezelf daadwerkelijk moet verkopen (al dan niet aan een derde).

Voor functies met meer technische invalshoek/diepgang maakt het geen bal uit welke certificaten je hebt; sterker nog, de interessantste werkgevers zijn dan degene die geen CISSP, CEH of ander securityveterstrikdiploma vragen.

Wauw, generalisatie alom

Het is niet alleen dat werkgevers certificaten vragen maar ook opdrachtgevers zullen een min of meer objectieve maatstaf willen zien en de grotere bedrijven laten over het algemeen niet gecertificeerde mensen niet eens aan het werk. Natuurlijk zijn dergelijke certificaten een basis niveau, een punt van waaruit je je verder moet verdiepen en onderscheiden. Doen alsof de bekende certificaten een soort veterstrikdiploma zijn getuigd niet van kennis van de markt.

[Thralas]

Bor schreef op zondag 15 november 2015 @ 21:01:
Doen alsof de bekende certificaten een soort veterstrikdiploma zijn getuigd niet van kennis van de markt.

Vanuit technisch perspectief? Absoluut.

Dat staat los van de noodzaak ervan (onontkoombaar in de verkoop/detachering). CISSP heb je in een bepaalde (corporate) branche gewoon nodig, CEH is daarentegen een treurige vertoning om jezelf 'pentester' te kunnen noemen. Andere certificeringen falen vaak op het criterium 'leren hoe dingen echt werken' - precies waar TS om vraagt.

OSCP schijnt een verrassend positieve uitzondering te zijn

TS lijkt met name geinteresseerd te zijn in de technische kant van het verhaal, dat los je niet op met certificeringen. Voor werkgevers kun je ze nodig hebben (leuk voor de afdeling HR), maar de toko's die echte technisch inhoudelijke kennis zoeken haal je er feilloos uit - die vragen namelijk niet om een CEH.

[sh4d0wman]

De verplaatsing heeft gewerkt Bedankt voor alle reacties zover.

Een reactie op de vele input:

Werk:
- "bij schemerlicht software te analyseren vs consultant", duidelijk optie 1.
- Wetgeving kan inderdaad lastig zijn voor sommige gevallen. Als IBM en HP echter remote posities aanbieden op penetration testing gebied zal er toch een oplossing voor zijn.
- Thanks voor de tip van "hiring" op /r/netsec en /r/reverseengineering hier zal ik zeker eens kijken! Ik kan online werken, internet en stroom is stabiel in TH, KH niet zo maar ik kan makkelijk verhuizen.

Certificering/Ervaring
- Ik heb diverse certificaten welke op pentesting / security consulting gebied kunnen helpen voor HR, eventueel kan ik dit nog aanvullen met OSCP en/of CISSP.
- Voor software security testing keek ik naar ISTQB omdat dit binnen de software testing wereld een veel gevraagd "entry-level" certificaat is (men werkt nog een een sec. specialisatie).
- Certificaat vs Bounty Portfolio, ik zou graag beiden combineren om kennis aan te tonen (theorie en praktijk).
- overthewire, smashthestack, pwnable.kr De laatste ken ik niet, de eerste ben ik ver doorheen. Smashthestack moet ik eigenlijk weer eens aan beginnen +- halverwege. Het helpt zeker, misschien wil ik gewoon te snel gaan.

Hoe ik mijn kennis probeer uit te breiden:
- cursus inhoud bekijken en google search voor zaken die ik niet direct ken = gratis
- exploit-db en soortgelijke sites om bepaalde type vulnerabilities uit te testen op "known vulnerable" software. Daarna vanaf scratch kijken hoe de vulnerability te ontdekken is b.v. bepaalde string input, onversleutelde data, etc.
- Bovengenoemde site en CWE/OWASP om te kijken welke types ik nog niet kan vinden.
- youtube / conference presentaties, veel Engels gelukkig, soms Russisch maar mijn Russisch is roestig
- google, cve: om "interessante" software te vinden om op te oefenen

Van alle zaken maak ik een soort test-plan; hoe vind ik dit type vulnerability? Hoe herken ik een succes? (b.v de klassieke EIP = 41414141 in een BOF), Wat is de impact? (RCE, Priv. Esc, etc), Kan ik dit automatiseren?