Beunhazerij in het testvak

[Verwijderd]

In het testvak is het eerder regel dan uitzondering dat een testuitvoerder zich voor doet als een testanalist. Hij/zij leest de specificaties en verzint enkele testgevallen. Vaak worden cruciale delen van een systeem niet of met een zeer lage testzwaarte getest. De oorzaak is het ontbreken van kennis en vaardigheid van testspecificatietechnieken.

Veel ZZP'ers of loondiensttesters houden elkaar in het gareel door een soort erecode te handhaven. Hierin is onofficieel afgesproken dat zij elkaar nooit verlinken dat ze niet in staat zijn om een test op te stellen op het vereiste niveau. Deze testers houden de buitenwereld in de maling door te beweren dat hun werkwijze zo hoort. Zij maken misbruik van de situatie dat de buitenwereld vaak niet weet hoe een test opgesteld dient te worden. De buitenwereld denkt vaak dat testers niet goed zijn omdat zij maar wat doen. Vraag je het een tester, dan bevestigen zij dat natte vingerwerk daadwerkelijk de manier is om het aan te pakken. Vraag je het een andere tester, dan zal dit worden bevestigd. Het is een kartelvorming om banen in stand te houden en ZZP-vriendjes binnen te halen.

Ik heb gezien hoe sommige testers nota bene tijdens een presentatie voor een groot publiek schaamteloos beweren dat een alinea met wat tekst de testspecificaties zijn. Tekst op het niveau van een use-case beschrijving voor 2 actoren. Deze testers beschermen elkaar en zien echte testers als een groot gevaar voor hun positie. Zij zullen zo veel mogelijk mee liften met de prestaties van de werkelijke testers en baggataliseren de prestaties als blijkt dat zijzelf onder hebben gepresteerd. Het is een ware club van vriendjesbeunhazen die hun banen en opdrachten binnen willen halen en instand willen houden.

Zij zweren erbij dat "ervaring", "assertiviteit" en "een goede houding" de eigenschappen van een tester is. Daarmee bedoelen ze in feite dat ze geen testkennis hebben. Ze gebruiken mooie praatjes om te verdoezelen dat ze in feite zomaar wat doen en geen echte tester zijn. Ze maken er misbruik van dat ontwikkelaars, ontwerpers en managers denken dat testtheorie niet bestaat. Het dieptrieste is dat dit niet alleen door testers wordt gedaan die zich als "testspecialist" voor doen, maar ook grootschalig bij testmanagers die werkelijk niets van testen af weten. Zij gebruiken rattenstreken en mooie woorden om hun totale gebrek aan testkennis te verbergen.

Testen is gewoon volgens een aanpak, proces en een reeks van technieken en tools. Er lopen teveel schijntestspecialisten rond die dit testvak verzieken.

Aan de software testers vraag ik, wat zijn jullie ervaringen met dit probleem? Sorry voor mijn negatieve eerste post, maar ik ben heel benieuwd wat andere testers hiervan vinden.

Robin

[r.e.s]

Persoonlijk denk ik dat je nu een behoorlijk aantal professionals te kort doet met bovenstaande OP. Zoals elk vakgebied heb je mensen er in die meeliften en mensen die hun werk correct doen.

Als je op organisatie keer op keer slechte ervaringen heb met testers denk ik toch dat er iets mis met de organisatie is.

Wil je bijvoorbeeld meer inzicht in de test werkzaamheden krijgen die je laat uitvoeren begin dan met het gebruik van tools zoals HPQC, methodieken zoals T-map en ontwikkelingen zoals automated testen.

Betrek daarnaast je tester meer bij de bouw werkzaamheden die worden uitgevoerd (of nog beter maak hem/haar) onderdeel van je team.

In mijn huidig project gaat de samenwerking met een tester erg goed hij/zij is er op alle belangrijke momenten bij tijdens een sprint, en daarnaast voeren wij de test werkzaamheden uit op lager niveau.

Oja aangezien dit toch een reltopic is
r.e.s: Hey tester, ik zie dat je per user story een uur schrijft onder de noemer test data conserveren, wat bedoel je daar precies mee?
tester: Dat zijn de uren die ik maak om EXCEL files in HPQC op te slaan

(en daar had die zo 3 of 4 uur van per week)

[ Voor 30% gewijzigd door r.e.s op 06-08-2013 20:43 ]

[Bartjuh]

Kan je een duidelijkere titel maken en een duidelijke inleiding maken? Ik moest eerst je halve post doorlezen om een beetje duidelijk te krijgen waarover het nu eigenlijk gaat...

Ging het om producten testen? Machines? Software? Proces installaties? Auto's? Fietsen?

[Verwijderd]

Denk het in deze is gegaan om het testen van zure pruimen. Dan moet je dat maar niet doen.

[Verwijderd]

Het gaat om softwaretesten. Ik heb zeer veel respect voor machinaal en procesinstallatietesten. Dit probleem doet zich voor in de ICT. r.e.s., de goedwillende tester die jij bedoelt zijn de junioren of geïnteresseerden. Er is niets mis met zulke testers. Ik heb het over grote groepen software testers die willens en wetens een netwerkje opzetten van beunhazen die elkaar helpen.

[Zoijar]

'citation needed' (en dat dan na bijna elke zin in de startpost)

[ Voor 54% gewijzigd door Zoijar op 06-08-2013 21:20 ]

[t_captain]

Ik heb in mijn loopbaan een flink aantal testers, test analysten en enkele test managers meegemaakt. Slechts een enkeling leek op jouw beschrijving, gelukkig:)

Naar mijn mening zijn de beste testers diegenen die gestructureerd werken zoals je beschrijft, maar daarnaast ook een klein zijstapje durven te maken op grond van systeemkennis + intuitie. Juist die kleine afwijkingen van het testplan hebben wel eens een zwakte in het product blootgelegd.

[JohnR]

Kortom, de rest zuigt, en jij doet 't goed?

[thewizard2006]

Wil je zeggen dat als je je testen niet strikt inricht volgens bijv TMAP of ISTQB je geen echte tester bent?

En wat t_captain zegt. Profiteurs heb je altijd. Dit is echt niet alleen in het testvak. Verder heb ik goede en slechte, snelle en langzame, slordige en grondige, slimme en domme testers meegemaakt. Wat is nu je punt? Waar komt je frustratie vandaan. Als je gefrustreerd zou zijn over ontbrekende documentatie, specificatie en requirements of slecht gebouwde software zou ik het wel snappen trouwens

[ Voor 65% gewijzigd door thewizard2006 op 07-08-2013 13:58 ]

[Koos Werkloos]

Ik denk wel dat je in het testvak iets meer beunhazen hebt dan elders in de IT. Op zich ook logisch, want iemand die geen IT-achtergrond heeft, maar wel de IT in wil, die wordt nu eenmaal eerder tester dan Java-ontwikkelaar of systeembeheerder.

Toch ben ik het niet eens met het beeld dat je schetst. Natuurlijk moet je de rode draad van TMap volgen en natuurlijk moet je vantevoren test cases opstellen op basis van de requirements. Maar inmiddels heb ik al genoeg ervaring om te weten dat de dagelijkse praktijk wel wat anders is dan in dat mooie TMap-boek. Want als je eenmaal daadwerkelijk aan het testen bent op het systeem, dan krijg je vaak toch weer andere inzichten dan wanneer je op basis van het FO testgevallen zit uit te schrijven. En ontdek je ook nog dat het ontwerp weer even terug naar de tekentafel moet omdat bepaalde dingen toch niet blijken te kloppen of dat met bepaalde situaties geen rekening wordt gehouden. Het komt zelden voor dat het ontwerp waterdicht is en juist de testuitvoering brengt dat vaak aan het licht. En ondertussen blijkt de klant ook nog eens voortschrijdend inzicht te hebben...

Het is een combinatie van beide. Een tester die zich niet voorbereidt en ongestructureerd gaat testen is natuurlijk geen goede tester. Maar een tester die uitgebreid test cases opstelt, maar die blind uitvoert zonder verder kritisch na te denken is dat ook niet.

[Blue-eagle]

Wat een lading ongefundeerde bullshit.

Je hele post kan ik met bovenstaande zin afdoen, immers: wat wordt aangenomen zonder bewijs kan worden weerlegd zonder bewijs. Maar laat ik nu een aantal mensen kennen die zich tester noemen die daadwerkelijk goed zijn in hetgeen ze doen. Die mensen wil ik toch even verdedigen.

In bijna ieder vak heb je mensen die je kan classificeren als "prutsers", hoewel, hogelijk niet in het astronautengilde. Testers, programmeurs, vormgevers: ik heb in alle specialismen van ICT prutsers zien rondlopen die hun baan weten te houden dankzij heel andere kwaliteiten.

Ik vermoed dan ook, Robin, dat je in een bedrijf werkzaam bent waar weinig waarde wordt gehecht aan kwaliteit, en de selectiecriteria bij sollicitanten zodanig laag is dat de prutsers bij jullie makkelijk binnenkomen. Maar mogelijk presteer jij ver boven je niveau.

[Testert]

Primaire reactie: What the fuck?!

- tot 10 geteld -

Beste Robin,

Ik heb ooit bij een klant gewerkt waar iemand rondliep die ik herken in jouw beunhaasbeschrijving. Dat was er slechts 1. Die is overigens snel op testmanagementpad gezet met het idee om hem 'kalt te stellen'. "Jij wilt graag testmanager worden? Prima, des te makkelijker is het aan te tonen dat je ondermaats presteert. Doei!"

Ik erken dus dat er sukkels rondlopen die met mooie praatjes en een grote mond elke maand weer meer krijgen dan ze verdienen. Volgens mij zijn dat er veel minder dan de dames en heren die MINDER krijgen dan ze verdienen. Je tweede alinea is volgens mij gebaseerd op ervaringen in een parallel, paranoia universum. Het gros van de testers wat ik ken is gewoon bekend met de theorie en doet wat er van hen verwacht wordt: zo veel mogelijk risico's afdekken met de beschikbare tijd & middelen.

Ik denk dat ik ervaren tester ben, heb trainingen gevolgd & gegeven, bekend met ISTQB, TestFrame, RRBT, T-Map Next en flink wat testtools. Overigens ben ik een ontzettende pragmaticus en nu alweer een paar jaar als functioneel beheerder ingezet. Met wat ervaring kun je intuïtief al een beetje de testgevallen afleiden uit de requirements. Soms schrijf ik nog een beslissingstabel uit, maar dat is niet altijd nodig.

Als functioneel beheerder heb ik in verschillende omgevingen gezien dat ook zonder structuur en theorie behoorlijke testresultaten gehaald kunnen worden. Dat is trouwens elke keer door hard werkende, betrokken mensen die kennis van de materie hebben. Esther de Tester, senior van het polisbeheerteam, met alle businessrequirements in het hoofd. Lijkt ongestructureerd te testen, maar werkt onbewust met error guessing en exploratory testing alle critical en high bevindingen uit de software. Zulke mensen kunnen een mooie samenwerking met externe testers opleveren.

Van testers verwacht ik JUIST dat ze missiewerk verrichten bij ontwikkelaars en projectleiders. Dat ze begrip kweken voor de ergernis van de testsqueeze (FO loopt uit, bouw loopt uit, deadline blijft staan). Dat ze uitleggen dat er tijd nodig is voor de voorbereiding (polissituatie X beslaat Y % van de productiepopulatie, maar is niet standaard aanwezig bij een deployment). Dat ze kunnen uitleggen waarom het goed is om een uur aan het conserveren van testdata te besteden. Die testtheorie moeten ze dus niet misbruiken maar uitdragen. Het lijkt me heel vervelend om in een omgeving te werken waar prutsers rondlopen. Het lijkt me nog erger om samen te moeten werken met de mensen die jij beschrijft!

Ergo: Ik hoop dat je een werkgever weet te vinden zoals die waar ik (nu nog) werk, waar een testcommunity aanwezig is die open en eerlijk is over de werkzaamheden. Waar ze verstand van de materie hebben en die met de tijd verder ontwikkelen.

Aan jou de taak om de zwendelaars en oplichters te ontmaskeren!

[Loev]

Wat een ongefundeerd topic... Van een tester verwacht ik meer diepgang! Je gooit nu alles op een hoop. Ik neem dat je niet hetzelfde doet wanneer je issues aanmaakt...

[Pierre Sec]

Verwijderd schreef op dinsdag 06 augustus 2013 @ 19:33:
De oorzaak is het ontbreken van kennis en vaardigheid van testspecificatietechnieken.

Testen is gewoon volgens een aanpak, proces en een reeks van technieken en tools. Er lopen teveel schijntestspecialisten rond die dit testvak verzieken.

Aan de software testers vraag ik, wat zijn jullie ervaringen met dit probleem?

Ik ga er allereerst van uit dat je chargeert. Anders liggen we te ver uit elkaar en is een discussie zinloos.
Wat betreft het vetgedrukte: ik hoop oprecht dat je zelf geen tester bent!

Mijn ervaring is dat de oorzaak van incompetente testers niet zit in het ontbreken van kennis en vaardigheden van testspecificatietechnieken. Veel vaker is het een gebrek aan kennis van de software en/of het product. Ik heb meegemaakt dat er zeer strak werd vastgehouden aan TMap en testtechnieken, waardoor belangrijke bugs over het hoofd werden gezien.

Eigenlijk hoef ik niet eens te reageren, Testert omschrijft precies hoe ik er over denk.

[ Voor 7% gewijzigd door Pierre Sec op 08-08-2013 09:46 ]

[Verwijderd]

Vergeet ook niet dat je als uitvoerend tester wellicht ook niet op de hoogte bent van alle politiek en andere aspecten die ertoe kunnen leiden dat bepaalde beslissingen genomen worden. Soms zal iets best effort moeten omdat je weet dat degelijk testen meer tijd kost dan van hogerhand gegeven wordt.

Is dat wat je als tester wil? Waarschijnlijk niet, want je wil je werk goed doen. Is het dan een slechte beslissing van hogerhand? Waarschijnlijk niet, omdat ook de risico's worden meegenomen in de overwegingen, maar er simpelweg meer zaken spelen dan jou bekend.

In theorie wil je altijd een kristalhelder proces en dat moet ook het uitgangspunt zijn. In praktijk heb je meer aan een tester die de realiteit van de situatie accepteert en die bijdraagt om nog steeds zo goed mogelijk te realiseren terwijl de beschikbare tijd verandert.

Voor sommige doeleinden is "niet-perfect" namelijk gewoon prima. Proof of Concept, vroege groep expert-gebruikers die alvast bekend moeten raken met een nieuw product, etc.

[ Voor 9% gewijzigd door Verwijderd op 08-08-2013 10:20 ]

[RvL]

@robindvr: Is dit een tekstje wat je zo'n 30 jaar geleden hebt geschreven? Of werk je gewoon met de verkeerde mensen? Persoonlijk denk ik het laatste.

De tijd dat iemand die geen IT achtergrond had of niet goed was in programmeren ligt tester wordt (waar ik kom althans) ligt ver achter ons. Je wordt niet zomaar even tester. Daar is kennis voor nodig. En en goede tester wordt je niet alleen op basis van kennis van b.v. TMap of ISTQB, daar is ervaring voor nodig. Daarnaast is een programmeur geen tester en een tester geen programmeur. Dat heeft vaak met instelling te maken.

De beunhazen waar jij het over hebt ben ik nog niet tegen gekomen, maar ik heb dan ook voornamelijk bij opdrachtgevers gezeten waarvoor testen niet nieuw was of waar een degelijke testorganisatie werd opgezet. Natuurlijk zitten er personen tussen die er een potje van maken maar die pik je er gemakkelijk tussenuit en zijn in mijn team geen lang leven beschoren.

Leuke opmerking trouwens dat iemand die assertief is, ervaring en een goede houding heeft geen testkennis heeft. Generalisatie FTW zullen we maar zeggen. De zaken die je noemt kunnen perfect samen gaan met testkennis.

Op papier heb je gelijk: testen is niets meer dan het volgen van een vooraf vastgesteld proces, ondersteunt door testtechnieken en testtools. In de praktijk werkt dat echter lang niet altijd zo. Je kan een proces vooraf prachtig beschrijven, maar als je organisatie niet de mate van (test)volwassenheid heeft die je in je proces nastreeft maakt dat je proces redelijk nutteloos. En dan komt ervaring om de hoek.

[ Voor 4% gewijzigd door RvL op 08-08-2013 12:17 ]