Stresstesten van je applicatie

[JaQ]

Zo af en toe moet je een applicatie opgeleveren, je kan immers niet eeuwig doorontwikkelen . Vaak wordt er bij het starten van het project dat als product de applicatie heeft e.e.a. geroepen over performance. Dit zijn meestal van die geweldig onmeetbare kreten als: "de performance moet goed zijn", of "de applicatie moet werkbaar aanvoelen". Ik hou echter meer van cijfers.

Gevolg hiervan is dat ik eens aan het rondneuzen ben wat voor stresstest / benchmark tools ik kan vinden en wat hiervan de voor / nadelen zijn voor. Hierbij concentreer ik me op tools die gebruikt worden voor webapplicaties, in mijn geval gemaakt in java, pl/sql of php.Tevens kan ik deze tools dan gebruiken om configuraties te testen en eventueel hier aan te gaan sleutelen.

Wat ik wil weten is:
- wanneer "breekt" de applicatie (door teveel load).
- wanneer wordt de applicatie onhandelbaar
- wat is de response tijd bij X aantal users
- etc.

Uiteraard heb ik wat rondgeneusd en ik heb reeds wat tools gevonden:
- The Grinder: Dit tool test enkel het java framework.Voordeel is dat het snel werkt, eenvoudig te snappen is, een redelijk goede GUI heeft en open source is (= free beer in dit geval ). Nadeel is dat er geen rekening gehouden wordt met de HTML schil (geen "klik-simulator) en de maximale mogelijkheden van je loadgenerators niet gelijklopen met je daadwerkelijke gegenereerde load

- proxy-sniffer: Het voordeel is dat een eenvoudig testscenario makkelijk te maken is door een browser sessie te volgen, de GUI exceptioneel goed is (grafieken voor managers ) en volledige klik simulatie. Nadeel is dat het helaas geen open source is, het opstellen van je test-scenario best lastig werkt bij een complexer scenario (door de GUI, danwel apparte taal). Ik heb nog niet gevonden of je proxy-sniffer kan clusteren

- siege: Het is redelijk eenvoudig om een testscenario te maken (vergelijkbaar met proxy-sniffer, echter ook bij een complexer scenario). Tevens mogelijkheid tot clusteren en het is volledig open source. Grote nadeel is het gebrek aan een GUI, wat er voor zorgt dat ik uren in excel kan gaan zitten klikken en slepen.

Mijn vraag aan jullie is, gebruiken jullie ook dit soort tools en zo ja: welke? Wat zijn jullie ervaringen en waarom kies je wel of niet voor een bepaald tool?

[ThunderNet]

Je zou ook eens kunnen kijken naar JMeter.

Deze tool gebruiken wij op school http://jakarta.apache.org/jmeter/

[JaQ]

ThunderNet schreef op zaterdag 15 april 2006 @ 22:58:
Je zou ook eens kunnen kijken naar JMeter.

Deze tool gebruiken wij op school http://jakarta.apache.org/jmeter/

Ik heb er in het verleden al eens naar gekeken, maar toen kon jmeter niet met post submits omgaan. Dit maakt het volledig simuleren van een eindgebruiker lastig (aangezien je toch nogal eens een post tegenkom in een applicatie ). Is dat ondertussen veranderd?

[ThunderNet]

JMeter kan inmiddels om met POST http requests ja
Heb het gebruikt voor het testen van loginscripts in php

[JaQ]

ThunderNet schreef op zaterdag 15 april 2006 @ 23:07:
JMeter kan inmiddels om met POST http requests ja
Heb het gebruikt voor het testen van loginscripts in php

Tijd om de manual dus een wat verder te bestuderen... (ik zie ook al grappen als ramp-up, iets wat er "vroeger" ook niet in zat).

[CubicQ]

Wij gebruiken op dit moment vooral nog OpenSTA (http://www.opensta.org/), 't kan alle dingen die je wil, en is open-source en gratis. Echter heb ik wel de ervaring dat 't vooral bij langere tests minder stabiel dan wenselijk is. Het gebeurt me iets te vaak dat de tool na 10 uur ofzo gewoonweg stopt. Maar voor de rest ben ik er wel tevreden over.

De standaard bij banken voor dit soort tests is trouwens Loadrunner (http://www.mercury.com/us...rmance-center/loadrunner/), maar waarschijnlijk ligt dat iets boven budget.

[bloody]

check http://grinder.sourceforge.net/

[ Voor 255% gewijzigd door bloody op 17-04-2006 14:38 . Reden: laat maar, ts had deze al genoemd ]

[-FoX-]

Een compleet overzicht van tools.

Verder heb ik wel eens gebruik gemaakt van de Microsoft Web Application Stress Tool, en ik vond dat wel vrij goed werken.

Je kan als het ware manueel door je applicatie heen klikken, terwijl de tool op de achtergrond je acties registreert. Later kan je dan afhankelijk van een set van parameters de tool het werk laten doen.