Geautomatiseerd testen

[sanzut]

Hoi!

Als onderdeel van mijn stage bij een bedrijf dat diverse webapplicatie's ontwikkelt ben ik op zoek naar een geautomatiseerde testtool.

Ik heb intussen via Google een aantal mogelijke kandidaten gevonden, maar voordat ik over wil gaan tot het daadwerkelijk installeren, testen en instellen van de testtools wil ik eigenlijk graag weten wat jullie ervaringen zijn met geautomatiseerd testen, en of er specifieke tools zijn die jullie aan of afraden.

Ik heb voorlopig de volgende tools geselecteerd:
- Canoo Webtest
- Ottomate
- PushToTest
- Qawizard pro
- Testcomplete
- Webinject

De applicatie maakt veel gebruik van JavaScript, waardor dit dus ondersteund moet worden door de testtool.

Ik ben erg benieuwd naar jullie ervaringen!

[sajoku]

Misschien is het handig om aan te geven wat je precies wilt testen?
Veiligheid, usabilit, ..?
Mijn beetje ervaring met geautomatiseerde testtools is dat ze nogal veel false positives opleveren waardoor het uiteindelijk meer moeite kost dan een gestructureerde handmatige methode.

[bigbeng]

sajoku schreef op maandag 20 oktober 2008 @ 09:12:
Misschien is het handig om aan te geven wat je precies wilt testen?
Veiligheid, usabilit, ..?
Mijn beetje ervaring met geautomatiseerde testtools is dat ze nogal veel false positives opleveren waardoor het uiteindelijk meer moeite kost dan een gestructureerde handmatige methode.

Geautomatiseerd testen en handmatig testen sluiten elkaar niet uit volgens mij. Voordeel van geautomatiseerd testen in mijn beleving is vooral in de zin van regressietests, herhaalbaarheid dus. En om nou elke keer een tester uit de kast te trekken bij een kleine wijziging...

@TS: is Selenium een optie? Het is was wel een typische developer tool, maar kan een leuke aanvulling zijn op unit tests.

[ Voor 0% gewijzigd door bigbeng op 20-10-2008 09:31 . Reden: Seleniums volwassenheid is inmiddels toegenomen ]

[whoami]

-> DTE

[Badtothebone]

Dus je gaat ergens stage lopen bij een bedrijf die webaplicaties ontwikkelt, hebben ze zelf geen testtools in house?

[bigbeng]

Badtothebone schreef op maandag 20 oktober 2008 @ 09:32:
Dus je gaat ergens stage lopen bij een bedrijf die webaplicaties ontwikkelt, hebben ze zelf geen testtools in house?

offtopic:
Blijkbaar niet, anders is de stage nogal zinloos. Niet elk bedrijf begint gelijk op CMM level 3, ze zijn blijkbaar bezig met een stap in de goede richting.

[Janoz]

sajoku schreef op maandag 20 oktober 2008 @ 09:12:
Misschien is het handig om aan te geven wat je precies wilt testen?
Veiligheid, usabilit, ..?
Mijn beetje ervaring met geautomatiseerde testtools is dat ze nogal veel false positives opleveren waardoor het uiteindelijk meer moeite kost dan een gestructureerde handmatige methode.

Ik betwijfel of het uiteindelijk meer moeite kost handmatig. Natuurlijk zal een geautomatiseerde test false positives opleveren. Je moet echter niet vergeten hoe een grote bult werk er in de andere scenarios zit die wel goed gaan. Echter merk je dit pas echt wanneer je al een stuk verder bent in je ontwikkel traject.

Let er wel op dat je eerlijk vergelijkt. Wanneer er handmatig getest wordt, wordt vaak een complete regressietest vergeten, juist vanwege het dodelijk saaie herhalingswerk waar in 99% van de gevallen helemaal geen fout in gevonden wordt. Een geautomatiseerde test haalt dus ook mooi zonder klagen en op elk gewenst tijdstip die 1% er ook uit.

[sajoku]

Janoz schreef op maandag 20 oktober 2008 @ 09:55:
[...]

Ik betwijfel of het uiteindelijk meer moeite kost handmatig. Natuurlijk zal een geautomatiseerde test false positives opleveren. Je moet echter niet vergeten hoe een grote bult werk er in de andere scenarios zit die wel goed gaan. Echter merk je dit pas echt wanneer je al een stuk verder bent in je ontwikkel traject.

Het ligt er natuurlijk aan over wat voor soort testen het gaat, zoals te lezen in mijn vorige post. Neemt niet weg dat het beide goed te combineren is, als je met bepaalde aspecten rekening houdt, zoals die false positives.

Let er wel op dat je eerlijk vergelijkt. Wanneer er handmatig getest wordt, wordt vaak een complete regressietest vergeten, juist vanwege het dodelijk saaie herhalingswerk waar in 99% van de gevallen helemaal geen fout in gevonden wordt. Een geautomatiseerde test haalt dus ook mooi zonder klagen en op elk gewenst tijdstip die 1% er ook uit.

Inderdaad een erg goed punt.

@ TS:
Is het jouw taak (stageopdracht) om een goede testtool te vinden of doe je dit uit jezelf? Als het je stageopdracht is kan je dit waarschijnlijk wel goed zelf uitzoeken door alle testtools uit te testen ( ) en vervolgens een weloverwogen afweging te maken.

[sanzut]

Thnx voor de replys.
Het zoeken, testen en invoeren van deze geautomatiseerde testtools is niet mij hoofd-stage-opdracht. Het is meer iets wat er als 2e proces 'naast' loopt.
Selenium ga ik zeker even naar kijken, zo op het eerste gezicht(2 seconden ) lijkt het erg bruikbaar.

Er is in-house nog niets in gebruik. Op dit moment verloopt het testen van de gehele applicatie met de hand, door 1 persoon, zonder dat hiervoor gebruik wordt gemaakt van een echte structuur. Wat dat betreft, is het meer trial-and-error, waarbij elke pagina wordt doorlopen, alle links en knoppen worden uitgeprobeerd.

Ter vergelijking: in mijn eerste stage week heb ik 2 dagen(+- 16 uur) besteed aan het kijken, testen en proberen van de applicatie, ingelogd op de verschillende niveaus. Tijdens deze 2 dagen heb ik ongeveer 15 fouten gevonden, wat dus aangeeft dat er met geautomatiseerd testen waarschijnlijk veel tijdwinst te behalen valt.

Het gaat om het testen van functionaliteit en bruikbaarheid, voor de gebruikers. Denk aan dingen als wordt het menu goed weergegeven, en opent die ene knop de goede popup, en wordt alles goed berekend?
De automatische tests zouden in elk geval altijd bedoeld zijn als aanvulling op het handmatige testen.
Wel is het de bedoeling om het handmatige testen verder te structureren, zodat er niets vergeten kan worden.

[Verwijderd]

Je schrijft dat het huidige testproces op dit moment niet gestructureerd verloopt. Het automatiseren van het testproces zal dan 'het probleem' niet verhelpen. Probeer eerst het testproces zelf meer te structueren. Er bestaan referentiemodellen hiervoor om dit te bereiken waarmee verschillende niveau's van volwassenheid van het testproces bereikt kunnen worden. Aan jou is het dan om te bepalen of dit binnen je opdracht past

[DutchAddick]

Wij testen dagelijks 250+ test cases geautomatiseerd met Watir en dat werkt erg fijn. Een aantal testtools die jij noemt zijn volgens mij performance testtools. Let op dat dit heel iets anders is, waarbij je voornamelijk HTTP requests verstuurt.

[ Voor 39% gewijzigd door DutchAddick op 20-10-2008 12:49 ]

[sanzut]

Ik heb selenium intussen wat beter bekeken, en gebookmarked. Het lijkt een prima tool voor ons doel.
dat geautomatiseerd testen het probleem van gebrek aan teststructuur niet oplost is bekend, het is dan ook de bedoeling om geautomatiseerd testen te combineren met het invoeren van een dergelijke structuur.
Ook Watir staat intussen bij de bookmarks. Dat over die preformance testtools zou ik nog even moeten nakijken.

[Verwijderd]

Een gestructureerd testproces is een voorwaarde voor testautomatisering. Voldoe je hier niet aan dan heeft het gewoon geen nut, hoe aantrekkelijk de tools ook lijken.