[Alg] (ISO) Certificering voor software

[Orphix]

Hoi mede-devvers,

Ik las net in [rml][ Java] Framework voor web applicatie[/rml] dat de opdrachtgever graag een ISO certificering wilde. Nu was ik mij bewust van vele certificeringen voor ontwikkelaars (vanuit Microsoft, Sun, IBM, etc). Maar nog niet zozeer van certificeringen voor software zelf.

Dit lijkt mij een zeer moeilijk iets. Een ISO certificering die bijvoorbeeld wordt toegekent wanneer je aan Unit-testing doet? Zegt dat per definitie iets over de kwaliteit? Verandert de software wereld op dit moment niet zo snel dat de best practice van vandaag alweer bad practice morgen is? Een ISO certificering waarbij gelet wordt op toegangelijkheid voor doven en blinden kan ik me dan wel weer iets bij voorstellen dat dat nuttig is.

Hebben jullie hier ervaring mee? Vraagt een klant/opdrachtgever hier weleens expliciet om? En vind je dat het de moeite waard is hier tijd en moeite in te steken?

[zeroxcool]

Orphix schreef op dinsdag 21 februari 2006 @ 23:31:
Dit lijkt mij een zeer moeilijk iets. Een ISO certificering die bijvoorbeeld wordt toegekent wanneer je aan Unit-testing doet? Zegt dat per definitie iets over de kwaliteit? Verandert de software wereld op dit moment niet zo snel dat de best practice van vandaag alweer bad practice morgen is? Een ISO certificering waarbij gelet wordt op toegangelijkheid voor doven en blinden kan ik me dan wel weer iets bij voorstellen dat dat nuttig is.

Hebben jullie hier ervaring mee? Vraagt een klant/opdrachtgever hier weleens expliciet om? En vind je dat het de moeite waard is hier tijd en moeite in te steken?

Als je software ISO gecertificeerd is wil dat per definitie niet zeggen dat het kwaliteit software is (wat is kwaliteit?), wat het wel aangeeft is dat je gestructureerd software ontwikkelt en dat er wordt geprobeerd kwaliteit ook te waarborgen. Ik zou zeggen neem eens een kijkje bij Wikipedia over ISO 9126 (de ISO-reeks over software kwaliteit mbt. beoordeling en waarborging).

Misschien ook wel interessant zijn methodes om ervoor te zorgen dat je gestructureerd software gaat ontwikkelen waardoor indirect de kwaliteit van je software vergroot wordt: CMM(i), CMMi is de nieuwe variant van dit model. Dit is overigens de officiële site.

Helaas kan ik je weinig vertellen over de praktijk en kwaliteitswaarborging, ik heb enkel wat vakken op school hierover gehad . Wat ik wel weet is dat er maar weinig bedrijven in de wereld in CMMi level 5 zitten, ik meen dat LogicaCMG en nog wat andere bedrijven in Nederland dat hebben. In India zitten de meeste level 5 bedrijven, maar dit zijn meestal bedrijven van maximaal 100 man in dienst...

Dus over de praktijk zullen er genoeg mensen hier zitten die er mee te maken hebben, of hebben gehad...

[ Voor 4% gewijzigd door zeroxcool op 22-02-2006 09:41 . Reden: typo'tje ]

[MSalters]

LogicaCMG heeft het zeker niet; toen ik vertrok was ons deel zelfs nooit gecertificeerd. Aan de andere kant zit daar wel genoeg kennis van CMM level 3 en 4 processen. Als je 3 jaar tijd hebt, en een paar ton, dan willen ze best komen praten.

CMM nivo 5 is zeldzaam. Ja, er zijn clubs in India die dat terecht hebben (Motorola is bekend), maar ik verdenk de meerderheid van selectief meten. Als je naar een dergelijk bedijf outsourced, laat dan altijd een onafhankelijke audit doen. (En meestal zijn het kleine groepen binnen grote bedrijven, die op hoge nivo's zitten)

[zeroxcool]

MSalters schreef op woensdag 22 februari 2006 @ 20:52:
LogicaCMG heeft het zeker niet; toen ik vertrok was ons deel zelfs nooit gecertificeerd. Aan de andere kant zit daar wel genoeg kennis van CMM level 3 en 4 processen. Als je 3 jaar tijd hebt, en een paar ton, dan willen ze best komen praten.

Mmm, tijdens de presentatie over je bezoek aan een bedrijf wat aan CMM(i) doet heb ik namelijk meegekregen dat Logica verteld had dat ze in level 5 zaten , vandaar .

En zoals ik ook al aangaf zijn dit vaak projecten met een kleine groep mensen. In een grotere onderneming duurt de overgang van 3 -> 4 inderdaad zo'n 3 jaar. Van 4 naar 5 duurt het daarop nog eens 1 à 2 jaar en veel centjes...

[Verwijderd]

Wat ik me vooral afvraag is of het er ooit van zal komen dat voor alle zakelijke software een dergelijke certificering door een overheid wordt opgedwongen. Op dit moment wordt er enorm veel gerommeld in de software industrie. Ik werk al wat langer als developper en heb dus van binnen uit geziet hoe men vaak te werk gaat. Minuten voor een deadline wordt er nog even snel een quick fix voor een of andere feature gedaan die dan meteen live wordt gezet. "Als het fout gaat horen we de klant wel piepen en dan fixen we het gewoon snel".

Het gevolg?

Enorm veel software waar veel geld voor betaald wordt die gewoon voortdurend faalt. Het ergste is, het zijn niet de kleinste onbekende bedrijven waarbij dit gebeurd. Mijn SE P900 loopt regelmatig vast, HDD recorders lopen vast en zelfs software in de auto loopt vast.

Nu is dat toch voornamelijk software van grote bedrijven die in de regel toch wel gestructureerd werken. Kijk je bij kleinere bedrijfjes, dan is dit vaak veel minder tot niet bestaand. CMM level 1 is bijna nog te hoog. En inderdaad, software van dergelijke oorsprong loopt nog veel vaker vast.

Aan de ene kant zie je dus dat gestructureerd werken zeker geen oplossing is voor falende software, aan de andere kant zie je dat het toch wel iets helpt. In een maatschappij die steeds meer afhankelijk is van software kost dit falen gewoon enorm veel geld.

In de fysieke wereld zie je dat je voor bijna elke consumenten produkt aan richtlijnen moet voldoen voor je deze op de markt brengt. Of het nu om een TV gaat, een stuk speelgoed of een gloeilamp. Bijna alles wat direct of indirect een gevaar kan vormen bij een slecht constructie moet een wettelijke eisen voldoen.

Nu is de vraag of zakelijke software (tekstverwerkers, spreadsheets, CMS, etc) ooit een echt -gevaar- kan zijn bij falen. Mischien is dit niet van toepassing. Desalnietemin is het een teken van onvolwassenheid dat de software industrie aan geen enkele wettelijk richtlijn hoeft te voldoen en bij falen geen enkele aansprakelijkheid accepteerd.

Zouden richtlijnen door de overheid verplicht gesteld moeten worden?

[MSalters]

Verwijderd schreef op donderdag 23 februari 2006 @ 00:13:
Wat ik me vooral afvraag is of het er ooit van zal komen dat voor alle zakelijke software een dergelijke certificering door een overheid wordt opgedwongen. Op dit moment wordt er enorm veel gerommeld in de software industrie. Ik werk al wat langer als developper en heb dus van binnen uit geziet hoe men vaak te werk gaat. Minuten voor een deadline wordt er nog even snel een quick fix voor een of andere feature gedaan die dan meteen live wordt gezet. "Als het fout gaat horen we de klant wel piepen en dan fixen we het gewoon snel".

Waarom zou de overheid dat afdwingen? Elke serieuze klant kan dat gewoon bij de inkoop procedures doen. Ja, dan wordt de software duurder. Dat si een afweging die elk bedrijf zelf kan maken, en dus moet de overheid er buiten blijven.

In de fysieke wereld zie je dat je voor bijna elke consumenten produkt aan richtlijnen moet voldoen voor je deze op de markt brengt. Of het nu om een TV gaat, een stuk speelgoed of een gloeilamp. Bijna alles wat direct of indirect een gevaar kan vormen bij een slecht constructie moet een wettelijke eisen voldoen.

Nu is de vraag of zakelijke software (tekstverwerkers, spreadsheets, CMS, etc) ooit een echt -gevaar- kan zijn bij falen. Mischien is dit niet van toepassing. Desalnietemin is het een teken van onvolwassenheid dat de software industrie aan geen enkele wettelijk richtlijn hoeft te voldoen en bij falen geen enkele aansprakelijkheid accepteerd.

Jammer dat je op het laatst zo te kennen geeft dat je absoluut niet weet waar je het over hebt. De beveiligingssoftware van de NS, de software van de stormvloedkering, het zijn allemaal producten waarbij een fout veel mensenlevens kan kosten. En net zoals bij alle producten geld dus dat een leverancier dan aan eisen moet voldoen. Die zijn niet hard, maar dat geld voor meer gebieden.
Je hebt als leverancier een probleem voro de rechter, als je product niet het Safety Integrity Level (SIL) heeft wat nodig is voor de taak.

[Verwijderd]

MSalters schreef op donderdag 23 februari 2006 @ 21:11:
[...]
Waarom zou de overheid dat afdwingen? Elke serieuze klant kan dat gewoon bij de inkoop procedures doen.

Maar niet elk stuk software heeft toch een individuele klant die afspraken maakt met de producent? Toen ik mijn SE 900 kocht heb ik bij 'de inkoop procedure' (dwz, naar de winkel gaan en geld geven aan de winkelier) geen mogelijkheden gehad om te onderhandelen over de te volgen procedures bij de ontwikkeling van de firmware.

Ik was daar ook een beetje laat voor. Op het moment dat mijn inkoop procedure begon was de software al ontwikkeld. Ik snap dat 90% van de software developpers hier waarschijnlijk alleen maar maatwerk doet en dus moeilijk kan voorstellen dat je ooit software bouwt die niet specificiek voor 1 klant is, maar de hoeveelheid van dergelijke software is toch enorm groot.

1 van de taken van de overheid is om haar burgers te beschermen. De burgers zijn de consumenten van de software die ze in de winkel kopen. Voor heel veel producten die in de winkel liggen bestaat regelgeving. Voor heel veel produktie processen bestaat ook regelgeving. De bedoeling in om de consument te beschermen tegen malafide bedrijven die slechte produkten op de markt brengen. Voor software ontbreekt dit echter in z'n geheel. Ik weet niet helemaal zeker of ik als software producent daar nu ongelukkig mee moet zijn, maar als consument ben ik er niet echt gelukkig mee.

We kennen allemaal wel de vage drivers van B merken die je OS zeer instabiel maken. Was het een ander produkt geweest dan had de producent dit van de markt moeten halen en mischien wel schadevergoeding moeten betalen. Laatst was er nog zoiets van een scharnier die een of andere keten verkocht (gamma ofzo), die niet goed scharnierde. Dat ding moest dus wel mooi van de markt gehaald worden en in de krant stond een excuus hierover. Voor software gebeurd dit niet, en zal het met de huidige regels ook nooit gebeuren. Er wordt nu gewoon gezegt van tsja, moet je maar geen vage B produkten kopen en zeker geen vage B drivers installen.

De niet wetende consument heeft er echter geen benul van wat je als B of als A merk moet classificeren. De pro overigens ook niet altijd. Toch betaald de consument voor een dergelijke produkt wat vervolgens z'n systeem neer haalt. Dit kan -echte- schade betekenen of op z'n minst heel veel ergernis. De overheid zou hiervoor ook regelgeving kunnen opstellen om dit tenminste te minimaliseren.

Jammer dat je op het laatst zo te kennen geeft dat je absoluut niet weet waar je het over hebt.

Nou nou, dat vind ik toch iets te cru gesteld. Ik wil niet zeggen dat ik alles overal over weet maar met een Drs. informatica titel, velen jaren werk ervaring in de software development, mede eigenaar van een software toko('tje) en een hacker spirit sinds de C64, is -absoluut- mischien iets te sterk uitgedrukt

De beveiligingssoftware van de NS, de software van de stormvloedkering, het zijn allemaal producten waarbij een fout veel mensenlevens kan kosten.

Dat leek me zo triviaal dat ik het niet apart wilde noemen in het toch al ietwat lange betoog. Vanzelfsprekend is er een grote groep software waar wel degelijk strenge eisen aan gesteld worden. Software voor bijvoorbeeld life support machines, vliegtuigen, de space shuttle, kern reactoren etc etc. Daarvoor heb je soms 4 dubbele software engines die door 4 verschillende teams zijn geschreven en elke functie 4 keer uitvoeren en dan de resultaten vergelijken. Extreme redundancy dus. "Mission critical/Fail Safe" is echter een enorm complex gebied binnen de informatica waar ik de laatste van ben om te zeggen dat ik er echt veel van weet.

Maar dat is helemaal niet mijn punt. Wellicht dat ik het niet helemaal duidelijk verwoordde, maar mijn punt was dat voor gewone simpele commodity software geen regelgeving is om de consument te beschermen. Nu zijn ook dikwijls gewone commodity dingen in het dagelijks leven potentieel gevaarlijk: een TV kan in de fik vliegen, een kandelaar kan doorbranden, een kleuter kan zich in speelgoed verslikken, er kunnen glasscherven in eten komen bij openen glazen verpakking, etc etc. Bij software zijn dergelijke effecten (meestal) iets minder aanwezig bij commodity dingen.

Kijk je buiten de software wereld naar echt grote dingen zoals bruggen, wolkenkrabbers, vliegtuigen, etc. Dan gelden daarvoor natuurlijk veel strengere regels die waarschijnlijk in zekere mate vergeleken kunnen worden met de regels voor bv die software van de stormvloedkering. Zoals gezegd was dit dus niet helemaal mijn punt.

Ik heb als scholier bijbaantjes in wat verschillende branches gedaan. Dit ging dan meestal om niet of laag geschool werk. Toch golden overal (wettelijk) verplichte procedures. Nu ben ik actief in een software toko waar het om hooggeschool werk gaat (HBO is zo'n beetje het laagste niveau), maar we kunnen onze produkten zo op de algemene markt te koop aanbieden zonder dat we maar aan 1 enkele regel of eis hoeven te voldoen. Ga ik morgen opeens besluiten om azijn te verkopen ofzo, dan moet mijn azijn opeens wel aan allemaal regels voldoen voordat ik dit als azijn mag verkopen. Mischien een stom voorbeeld, maar ik hoop dat het nu een beetje duidelijker is wat ik bedoel.