OSS heeft dezelfde hoeveelheid fouten!

[Verwijderd]

Beetje erg roze bril van degene die het artikel schreef.

Op pagina 13, waar het specifiek om de vergelijking tussen OSS en proprietair gaat, staat:

Open source quality is on par with proprietary code quality, particularly in cases where codebases are of similar size.

(vetgedrukt van mij)

The average codebase size for proprietary codebases in our sample is 7.5 million lines of code, significantly larger than the average for open source software included in our analysis. Therefore, to make a more direct comparison we looked at the defect density of proprietary code against open source codebases of similar size. The average defect density for proprietary codebases of Coverity users is .64, which is better than the average defect density of 1.0 for the software industry. We also found that open source code quality is on par with proprietary code quality for codebases of similar size. For instance, Linux 2.6 has nearly 7 million lines of code and a defect density of .62, which is roughly identical to that of its proprietary codebase counterparts.

[Dimitri R]

Linux 2.6 misschien wel, maar de overige onderzochte pakketten niet. Je kunt wel twijfelen of de steekproef van opensource-software niet groter had kunnen zijn.

[mjtdevries]

Je kunt wel twijfelen of de conclusie die in het T.net article gedeponeerd word wel verschillend had mogen zijn aan de conclusie van Coverity...

[ Voor 9% gewijzigd door mjtdevries op 24-02-2012 21:07 ]

[hostname]

Ik vind dat het Tweakers.net artikel deze vrij essentiele paragraaf uit het onderzoek niet goed meeneemt:

Based upon the sample of active projects in Coverity Scan, we found the quality of open source software is above average. This is based upon a measure of defect density against the industry average defect density for the software industry. The average defect density, or the number of defects per thousand lines of code, across the top 45 active open source projects in Scan is .45. Coverity’s experience working with commercial software development projects has shown that a good benchmark for high-quality software is an average defect density of equal to or less than 1.0. As discussed, many of the projects included in this year’s analysis have been active in Scan since its inception in 2006, and this remarkably low average defect density is a marker of the mature rate of adoption of static analysis within the open source community as a testing measure to help open source developers fix defects and improve overall software quality. See Appendix A for additional detail on the aggregate findings.

Dat geeft meteen al aan dat de hele vergelijking oneerlijk is: de open source developers hebben al sinds 2006 de tijd gehad om de fouten te fixen, terwijl dat niet geldt voor de proprietaire software.

Overigens staat in de zin daarvoor dat de 1.0 helemaal geen gemiddelde is, maar dat uit hun ervaring is gebleken dat alles onder de 1.0 een goede score is.

Uiteindelijk maak ik uit het onderzoek op dat het vooral reclame is voor hun eigen static analysis tool. Neem bijv. de volgende quote op pagina 14:

This year’s analysis led us to our final set of findings:

• Proprietary codebases that leverage automated testing such as static analysis have quality above average
  for the software industry.
• Open source quality is on par with proprietary code quality, particularly in cases where codebases are of
  similar size.

Of hun uiteindelijke conclusie op pagina 15:

This year’s report demonstrates a simple-yet-powerful conclusion: development projects, regardless of project type, size, or industry, that make a commitment to software quality through the adoption of development testing as a part of their development workflow, reap the benefits of high code quality and continue to see quality improvements over time

Imo geen nieuwsartikel op de Frontpage waardig.

[Wilbert de Vries]

Ik zal dit intern nog even 'evalueren' om te kijken of we dit hadden moeten brengen en of het in de juiste vorm is gebracht.

[Verwijderd]

Dimitri R schreef op vrijdag 24 februari 2012 @ 19:15:
Linux 2.6 misschien wel, maar de overige onderzochte pakketten niet. Je kunt wel twijfelen of de steekproef van opensource-software niet groter had kunnen zijn.

Linux 2.6 is slechts een voorbeeld, van een OSS pakket met dezelfde grootte van code als de proprietaire software die men onderzocht heeft.

Het is algemeen bekend dat de hoeveelheid fouten toeneemt met de grootte en complexiteit van de code. Daarom dat die grootte van de code ook expliciet genoemd wordt bij de vergelijkingen!
In de conclusie staat overduidelijk dat bij gelijke grootte van de codebase, de hoeveelheid fouten gelijk is.

In de steekproef waren de OSS codes i.h.a. beduidend kleiner, en bevatten daarom gemiddeld minder fouten. Maar dat komt dus hoogstwaarschijnlijk door de kleinere grootte/complexiteit van de code, en niet door het OSS zijn.