Testen in de praktijk, TMap, TestFrame of smarTEST?

[RookieRooster]

Als je tester(testengineer) wil worden en wil doorgroeien naar een functie als test- manager/analist, welke van de volgende methodes is dan de beste om mee te beginnen(lees: wordt het meest gebruikt in de praktijk)?

- TMap(Next) van Sogeti
- TestFrame van Logica
- smartTEST van Valori

Helaas is het zo dat je bij zoeken op deze begrippen al snel uitkomt op een site van de 'owner' van de methodiek waarop vanzelfsprekend te lezen is dat betreffende methodiek 'internationaal de meest gebruikte' is..

[ Voor 27% gewijzigd door RookieRooster op 12-09-2010 02:59 ]

[Polariteit]

Ik zeg tmap. Bij al mijn projecten die ik in de afgelopen vijf jaar heb gedaan werd (een soort van afgeleide) tmap gebruikt. Testframe heb ik na het volgen van mijn masterclass bij Logica 5 jaar geleden bij wijze van spreken niks meer van gehoord, en smartTEST ken ik niet.

TMAP is vooral theoretisch ingesteld, en wordt dus een beetje pragmatisch toegepast. Men neemt wat delen over, en andere delen past men wat anders in zoals het bij de klant beter werkt.

Testframe is wat praktischer ingesteld, en leunt vooral op het inrichten van de testscripts etc zodat ze bruikbaar zijn voor testautomatisering. de ´theorie´ hiervan komt verder best overeen met die van tmap, behalve wat andere benamingen.

[RookieRooster]

Bedankt voor je reactie. Praktijk lijkt minder zwart/wit te zijn dan ik dacht (gebaseerd op alle reacties hierboven ), opleiding/ervaring met de ene methodiek sluit het werken op een project geörienteerd op de andere techniek dus niet uit. In dat geval lijkt TMap next foundation een logische eerste stap.

[ Voor 8% gewijzigd door RookieRooster op 12-09-2010 12:21 ]

[theHoff]

Volgens mij kan je ze prima complementair gebruiken. Genoeg projecten gedaan waar het testplan mbv TMap opgesteld werd en de testscripts met hulp van testframe (of een variant er van). Blijft toch vaak afhankelijk van de werkmethodes die gehanteerd worden.
smartest niet naar gekeken want dat is van Valori. Die houden er nogal van om iets heel "nieuws" te roepen, terwijl het gewoon precies hetzelfde is, alleen met andere naampjes.

[CyBeRSPiN]

RookieRooster schreef op zondag 12 september 2010 @ 02:44:
Als je tester(testengineer) wil worden en wil doorgroeien naar een functie als test- manager/analist

Wat doet een testmanager / testanalist in jouw ogen precies?
Waarom denk je dat kennis van een specifiek testframework je hiermee gaat helpen?

[merauder]

Prince2.

Veel testmanagement methodieken bevatten weer componenten van Prince2. Sowieso is Prince2 handig omdat je als tester vaak op projecten werkt en het erg handig is om het een en ander van best practices op het gebied van project management te weten.

Wat ook veel wil helpen, is om een ontwikkelingstraject te kunnen beschouwen aan de hand van methoden zoals bijvoorbeeld Agile, zodat je een goed totaalplaatje van het hele proces hebt.

TMap is ook een bekende methode, en werkt prima zolang je deze niet als bij the book wilt toepassen. Sommige componenten passen namelijk niet in alle soorten projecten.

[sebasd]

TMap is dan ook niet bedoeld om letterlijk toe te passen, het is een verzameling handigheidjes waar je uit kan halen wat nuttig is. Vooral de testontwerptechnieken zijn wel handig. In ons team gebruiken we dat in ieder geval het meest, de rest is voornamelijk common sense en een stuk projectmanagement-technieken.

Weinig ervaring met Testframe, geen met smartTEST. Volgens mij is Testframe ook redelijk complementair aan TMap, zie ook commentaar van theHoff.

[RookieRooster]

CyBeRSPiN schreef op zondag 12 september 2010 @ 13:18:
[...] Wat doet een testmanager / testanalist in jouw ogen precies? Waarom denk je dat kennis van een specifiek testframework je hiermee gaat helpen?

"Een testmanager leidt testopdrachten m.b.t. projecten, releases en beheeropdrachten binnen deze organisatie. Je bent verantwoordelijk voor de planning, de aansturing en de uitvoering van het testproces, binnen de planning, budget en binnen de kwaliteit van het testobject" zou zomaar een omschrijving van de werkzaamheden kunnen zijn. Exacte invulling zal verschillen per bedrijf, klant en project.

De benodigde competenties voor bovenstaande kan je uit geen enkele methodiek halen, hiervoor moet je kennis van de methodiek hebben, aangevuld met (3-5 jaar?) ervaring als testengineer.

[Polariteit]

merauder schreef op zondag 12 september 2010 @ 13:22:
Prince2.

Veel testmanagement methodieken bevatten weer componenten van Prince2. Sowieso is Prince2 handig omdat je als tester vaak op projecten werkt en het erg handig is om het een en ander van best practices op het gebied van project management te weten.

Wat ook veel wil helpen, is om een ontwikkelingstraject te kunnen beschouwen aan de hand van methoden zoals bijvoorbeeld Agile, zodat je een goed totaalplaatje van het hele proces hebt.

TMap is ook een bekende methode, en werkt prima zolang je deze niet als bij the book wilt toepassen. Sommige componenten passen namelijk niet in alle soorten projecten.

Ik vraag me af in hoeverre prince2 ingaat op testanalyse etc?

[Testert]

Over je functies: een testanalist is iemand die testsdossiers en scripts schrijft & uitvoert aan de hand van Use cases, functioneel ontwerpen, impact analyses en andere testbasis zoals productvoorwaarden of wetsteksten. Een testengineer is iemand die zich niet zozeer bezighoudt met de analyse*1, maar die zich meer richt op het geautomatiseerd (laten) uitvoeren van door anderen (analisten) bedachte scripts. Dat kan functioneel zijn, zoals een regressietest die elke release aantoont dat het inlogproces doorlopen kan worden. Dat kan ook op andere kwaliteitsattributen zijn waarmee je de performance controleert voor een oplevering van een nieuwe release. Wat zijn de responstijden bij X users die tegelijk willen inloggen? Een testmanager is iemand die ervoor zorgt dat het testbeleid vorm krijgt en dat alle project worden voorzien van de juiste resourcing (hoeveel en wat voor testers). Een testmanager zou zich mijns inziens meer en meer moeten gaan opstellen als een QA officer of manager: Hoe krijgen we zo goedkoop mogelijk de kwaliteit op het gewenste peil en geven we de klant dat vertrouwen? Je zou je, als je geen manager wilt worden, ook kunnen focussen op testconsultant. Zo iemand zou voor korte klussen bij klanten worden ingezet om de hele testorganisatie naar een hoger niveau te brengen. Die adviseert hoe de professionaliteit en het volwassenheidsniveau omhoog gebracht kan worden.

Over je methoden: In de praktijk wordt de notatie veelal gedaan met TestFrame, terwijl het hoger management denkt met TMap te werken. Aanvullend op Testframe biedt Logica het Risk & requirement based testing. Waar TestFrame de uitvoering beschrijft, beschrijft het risk & requirement based testing *3 hoe je een succesvol testproject inricht. Het is allemaal een uitwerking van mensen die tegen problemen met testen aan gelopen zijn, daar over gesproken en nagedacht hebben en tot slot hebben vastgelegd hoe ze dat een volgende keer beter kunnen doen. Wat theHoff zegt: complementair. Smartest? Geen idee.

Wat mij betreft zou je je vooral moeten richten op standaarden. Het is allemaal hetzelfde, maar het is handig als je voor de meest gebruikte kiest vanwege de meer ingeburgerde terminologie. Zorg ervoor dat je allemaal dezelfde taal spreekt:
- ISTQB Foundation
- CMMi & TMMi
- IEEE 829 , 1028, en verder 1044, 1059, 1074
- ISO 9126 (Kwaliteitsattributen)

Prince II heeft weinig met testen te maken, maar alles met projectaansturing. Het kan echter geen kwaad om daar wat kennis van op te doen natuurlijk. En dat geldt inderdaad ook voor verschillende ontwikkelmethoden.

Mijn ervaring: Na het doorlopen van de masterclass testing (Logica) jaren geleden was het halen van het certificaat ISEB Foundation (voorloper van ISTQB) een fluitje van een cent. Toen van ons gevraagd werd van TMap Next Foundation ook het certificaat te halen*2 moest ik 3 dingen doen: 1) de stof ophalen en 2) de afwijkingen van de standaarden onthouden en 3) de TMap specifieke zaken bijleren.

Ik hoop dat je er iets mee kunt.

*1 mijn visie op testanalyse: op basis van risico's en requirements een effectieve en efficiënte manier vinden om aan te tonen dat het juiste product is gebouwd en dat het product juist is gebouwd: verifiëren en valideren.

*2 Vanwege de inzetbaarheid. De lijnmanager die een project optuigt vraagt naast allerlei vaardigheden ook kennis van TMap. De aanvragen gaan via de inkooporganisatie die de X CV's die de gewenste certificaten met het laagste tarief doorspelen.

*3 Bob van de Burgt & Iris Pinkster - 'Succesvol testmanagement: een integrale aanpak' ISBN 90-440-0554-5

[ Voor 0% gewijzigd door Testert op 13-09-2010 09:49 . Reden: foutjeS ]

[RookieRooster]

Testert schreef op maandag 13 september 2010 @ 09:06:
De aanvragen gaan via de inkooporganisatie die de X CV's die de gewenste certificaten met het laagste tarief doorspelen.

Bedoel je hiermee dat mensen met een TMap next certificaat meer kans hebben bij een project betrokken te worden?

[Bob van de Burgt & Iris Pinkster - 'Succesvol testmanagement: een integrale aanpak' ISBN 90-440-0554-5

Ik kan zo snel geen inkijkexemplaar vinden, worden de specifieke verschillen/overeenkomsten van de genoemde methodieken hierin uitgelegd of is dit een meer algemeen beeld van 'best practices'?

marceltuit schreef op maandag 13 september 2010 @ 07:11:

Ik vraag me af in hoeverre prince2 ingaat op testanalyse etc?

Prince2 foundation en ITIL foundation heb ik vanuit mijn opleiding (HBO BI) meegekregen, zijn volgens mij beide niet direct gerelateerd aan testen maar wel waardevol om een project/process binnen een organisatie te kunnen plaatsen.

[ Voor 23% gewijzigd door RookieRooster op 13-09-2010 12:09 ]

[Testert]

RookieRooster schreef op maandag 13 september 2010 @ 11:53:
Bedoel je hiermee dat mensen met een TMap next certificaat meer kans hebben bij een project betrokken te worden?

Yep, maar vergelijkbaar met een ISTQB certificaat? Beide is natuurlijk nog beter voor de spreiding. Eén van beide is voldoende om aan te tonen dat je de basistheorie van het gestructureerd testen begrijpt. Wil je vervolgens een grotere kans om ook direct op de werkvloer de testdossiers te begrijpen, dan komt TestFrame weer heel erg van pas.

Ik kan zo snel geen inkijkexemplaar vinden, worden de specifieke verschillen/overeenkomsten van de genoemde methodieken hierin uitgelegd of is dit een meer algemeen beeld van 'best practices'?

Hmmmm... Vergelijk je TMap met TestFrame, dan zou je dit boek bij TestFrame moeten leggen om een goede vergelijking te krijgen. Beide zijn veel tekst waarmee je antwoord kan geven op de vraag:
Hoe kan ik de klant effectief, snel & goedkoop inzicht in de geleverde kwaliteit geven?
Je zult zien dat TMap vs Testframe + RRBT*1 vrij nauw overeen komen. Daarbij gaat mijn voorkeur (uiteraard) uit naar de laaste, vanwege de makkelijke toepasbaarheid in de praktijk. Bij mijn weten houdt TMap op bij het vaststellen van de testgevallen waar TestFrame ook de notatie behandelt.

*1 Risk & Requirement Based Testing

[NielsTn]

RookieRooster schreef op zondag 12 september 2010 @ 02:44:
Als je tester(testengineer) wil worden en wil doorgroeien naar een functie als test- manager/analist, welke van de volgende methodes is dan de beste om mee te beginnen(lees: wordt het meest gebruikt in de praktijk)?

- TMap(Next) van Sogeti
- TestFrame van Logica
- smartTEST van Valori

Helaas is het zo dat je bij zoeken op deze begrippen al snel uitkomt op een site van de 'owner' van de methodiek waarop vanzelfsprekend te lezen is dat betreffende methodiek 'internationaal de meest gebruikte' is..

Voornamelijk TMap(Next), waarbij ik deze methodiek zelf pragmatisch toe pas (per project/opdracht). Ik zie het dus meer als een gereedschapskist waar ik 'on the fly' de beste steeksleutel voor kies
Daarnaast is ISTQB Foundation handig (met uitbreiding naar Advanced). Softskills zijn ook erg praktisch om je te ondersteunen de informatie te halen. Zeker op hoger niveau (senior tester/testco/testmanager).
nog 4 weken dan gaat deze testert voor de Advanced Test Analyst van ISTQB

[dr.lowtune]

Ik ben zelf begonnen met ISTQB Foundation, daarna TMAP.

Inmiddels zit ik als testmanager bij een bedrijf waar ik een testafdeling moet opzetten. Er zijn een paar dingen die ik hierbij toe pas. Als eerste wil ik bereiken dat men zich bewust is van een bepaalde volgordelijkheid van activiteiten (zowel in het ontwikkelproces als in het testproces).

Om dit proces uit te leggen aan de mensen team ik met de requirements manager, het oude bekende V-model gebruiken we hier nu voor (we hebben hier serieus situaties dat projecten denken in de acceptatiefase te zitten terwijl ze nog requirements aan het opstellen zijn gedurende het bugfixen nadat een developer op zijn machine iets heeft gevonden in een unittest....vat je'm nog?? Hier willen we dus vanaf).

Daarnaast gebruik ik het TMAP faseringsmodel om in projecten uit te leggen dat je niet ineens op dag X moet verwachten dat een tester een advies kan neerleggen, maar dat er een heel traject achter zit, en dat een tester dus veel meer toevoegt aan een project dan alleen een oordeel aan het einde. Op het niveau van het testproces kan je dus stellen dat we voornamelijk TMAP gebruiken. Om de testvolwassenheid van de organisatie te kunnen beoordelen gebruiken we TPI Next.

Een PRA voeren we ook uit volgens de TMAP methodiek, voornamelijk omdat bij eindgebruikers is gebleken dat ze dit makkelijke begrijpen dan PRISMA. Kijk je naar onze testscripts, dan staan die allemaal in TestFrame templates, inclusief het gebruik van keywords. Kwaliteitsattributen? Doen we via de ISO norm. Eigenlijk gebruiken we de delen van de diverse "methodieken" die we goed kunnen toepassen en streven we niet naar een theoretische perfectie.

Als je mij zou vragen vanuit deze rol welke methodes ik zou volgen als cursus:
1) TMAP Next Foundation*
2) Communicatie vaardigheden (hier heb je minstens net zoveel plezier van als van inhoudelijke vakkennis)
3) Prince2 (of iets anders waardoor je ook weet hoe projecten functioneren)
4) ISTQB Foundation*

* Ik begon met ISTQB foundation, tijdens die cursus werd er veel tijd aan de testtechnieken besteed wat zorgt voor een goede basis. Bij de TMAP cursus die ik ergens anders volgde was dit veel minder aan de orde, waarschijnlijk lag dit aan het instituut(een of ander bedrijf, niet Sogeti iig). Als je begint met TMAP, zorg dat je dan iig voldoende tijd aan je technieken besteed, je zal ze echt niet allemaal gaan gebruiken, maar je moet wel weten wat het inhoud, als iemand je vraagt of je iets middels een procescyclustest kan testen moet je wel weten wat er gevraagd wordt natuurlijk.

[theHoff]

Ik denk overigens ook dat deze zaken gewoon bij je basiskennis horen en dat het absoluut geen ticket to management is. Begrip van meerdere technieken en het besef wanneer welke toe te passen is belangrijker dan een papiertje te hebben waarop staat dat je er wat van af weet.
Of je testmanager materiaal bent hangt van meer dingen af. Overigens vraag ik me wel af waarom je wilt groeien naar testmanager. Het is maar een naampje. Ik denk dat het belangrijker is dat je groeit naar iets waar je graag mee werkzaam wilt zijn in plaats van dat je kan zeggen, ik ben manager.

[RookieRooster]

bBedankt voor alle reacties. Ben nu begonnen in het door Testert voorgestelde boek ''Succesvol testmanagement: een integrale aanpak'(gebaseert op het door Logica ontwikkelde testmanagement model), volgende stap zal TMap Next foundation zijn. SmarTEST laat ik voorlopig maar even buiten beschouwing.

theHoff schreef op dinsdag 14 september 2010 @ 12:05:
Overigens vraag ik me wel af waarom je wilt groeien naar testmanager. Het is maar een naampje. Ik denk dat het belangrijker is dat je groeit naar iets waar je graag mee werkzaam wilt zijn in plaats van dat je kan zeggen, ik ben manager.

Volledig mee eens, denk dat in de praktijk pas blijkt waar je specifieke interesses/vaardigheden liggen, had ook 'senior tester' kunnen staan in plaats van testmanager. Dus op naar praktijkervaring!