Onterecht negatieve toon vs. Microsoft Security Essentials

[Verwijderd]

Waarom die negatieve toon in het artikel? Waarom het zo negatief in de titel vermelden dat zij de meeste malware doorlieten?

Met hetzelfde recht had je in de titel trots kunnen vermelden dat Microsoft Security Essentials geen enkele false positive liet zien!


Beetje wonderelijke keuze om het negatieve te benadrukken.... Vooral als je je bedenkt dat in de praktijk een false positive veel ernstiger is dan of je ook de laatste obscure malware nog kan vinden.

[CyberKieken]

Dit valt me ook wel op, vooral omdat het andere grafiekje in het rapport wat de false positives laat zien (pagina 9) een heel ander beeld geeft.

Ik zou dan eerder negatief zijn over bvb AVG of Trend Micro: nog steeds relatief slechte detectie (96,4% of 95,6% t.o.v. 93,1% voor MSE) maar dan gecombineerd met een heel hoge score aan false positives (resp. 38 em 166 t.o.v. 0 voor MSE)...

[ Voor 9% gewijzigd door CyberKieken op 18-04-2012 13:40 ]

[Olaf]

De toon is niet negatief, de uitslag van de test pakt helaas negatief uit voor Microsoft. De reden dat we deze insteek nemen is, zoals AV Comparatives als volgt omschrijft:

A good file detect rate is still one of the most important, deterministic and reliable features of an Anti-Virus product

. Uiteraard is de false positive-test ook belangrijk, daarom noemen de gunstige uitslag voor Microsoft ook al in de lead en nadrukkelijk in het stuk.

[Verwijderd]

AVG en Trend Micro scoren in de totaal uitslag veel slechter dan MS, omdat die relatief weinig detecteren én ook veel false positives hebben. Dan is het raar om MS er uit te pikken, omdat ze bij 1 test het slechts scoren...

Wederom... Je had net zo goed die false positive test kunnen laten zien, en in de titel grootst vermelden dat MS als enige geen false positives scoort!

[ Voor 18% gewijzigd door Verwijderd op 18-04-2012 14:20 ]

[Joost]

Verwijderd schreef op woensdag 18 april 2012 @ 14:18:
Wederom... Je had net zo goed die false positive test kunnen laten zien, en in de titel grootst vermelden dat MS als enige geen false positives scoort!

Dat had inderdaad gekund, en dat hebben we niet gedaan. Dat is een keuze, zoals er bij het schrijven van elk nieuwsbericht keuzes worden gemaakt.

[mjtdevries]

En dat is inderdaad een keuze van de redactie en niet van de testers die het rapport hebben opgesteld, want hun eindconclusie is namelijk dat Microsoft op gelijke hoogte staat met: PC Tools, GFI, AVG, Trend Micro en Webroot.
En dat AhnLab duidelijke een gradatie slechter presteert.

Dus dan blijft het een hele valide vraag waarom de redactie specifiek de keus heeft gemaakt om specifiek dat subonderdeel van de tests te vermelden en te doen alsof de score heel slecht is, terwijl de testers ook die score gewoon voldoende vinden.

Ik zeg niet dat jullie het wilden doen, maar als iemand Microsoft een hak wil zetten, dan is deze methode van berichtgeving daar erg geschikt voor.
Ik ga er vanuit dat het per ongeluk zo is gedaan, maar let er dan in de toekomst op om te voorkomen dat mensen gaan denken dat je niet objectief bent in je berichtgeving.

[ Voor 39% gewijzigd door mjtdevries op 18-04-2012 15:17 ]

[Joost]

mjtdevries schreef op woensdag 18 april 2012 @ 15:11:
Ik ga er vanuit dat het per ongeluk zo is gedaan, maar let er dan in de toekomst op om te voorkomen dat mensen gaan denken dat je niet objectief bent in je berichtgeving.

Natuurlijk is het niet 'per ongeluk' gegaan, we hebben dit er specifiek uitgelicht omdat we dit een interessant aspect vonden (de precieze redenering ligt niet bij mij, maar bij de auteur). Dat we daarbij een ander aspect uitlichten dan de onderzoekers, is niet vreemd of ongewoon.

En de suggestie dat we dat hebben gedaan om Microsoft 'een hak te zetten' is natuurlijk groteske onzin.

[Afvalzak]

Op zich vind ik de keuze van de auteur wel begrijpelijk.
Het detecteren van een virus is natuurlijk het belangrijkst. Belangrijker nog of er soms een foute detectie in zit, liever dat dan een detectie te weinig?

[mjtdevries]

False positives kunnen grote schade aanrichten. Vergis je daar niet in!

Denk bv aan de issues die er in het verleden zijn geweest waarbij systeembestanden van windows als virus werden aangemerkt waardoor je je systeem niet meer kon booten.

[Joost]

mjtdevries schreef op woensdag 18 april 2012 @ 16:17:
False positives kunnen grote schade aanrichten. Vergis je daar niet in!

Denk bv aan de issues die er in het verleden zijn geweest waarbij systeembestanden van windows als virus werden aangemerkt waardoor je je systeem niet meer kon booten.

Klopt, en daarom benoemen we de goede score op het gebied van false positives ook.

[ Voor 3% gewijzigd door Joost op 18-04-2012 16:27 ]

[Bundin]

Een teveel aan false positives kan niet alleen je prima werkende software omver helpen maar ook tot dusdanige frustratie leiden bij eindgebruikers dat ze "die vervelende virusscanner die de hele tijd op mijn legale software reageert" maar buiten de deur gooien en zonder verder gaan. Door de gebruikte kop en maar 1 grafiek te laten zien is het een ernstig gekleurd verhaal geworden.

Aan de andere kant is het resultaat van MS relatief gezien pover en dat mag best genoemd worden, vooral omdat MSSE een goede naam heeft. En detectie is nog steeds de meest belangrijke functie.

Weer een typisch gevalletje van "sappige headline = meer kliks" dus, gebeurt vaker.

[mac-er]

Ik ben het in deze toch ook wel met de auteur eens, ik persoonlijk zie (te) veel false positives soms gevaarlijker dan een simpel virus. Probleem daarvan is namelijk dat het soms je Windows installatie of een andere applicatie dusdanig kan beschadigen waardoor het onbruikbaar wordt. Zeker in een zakelijke omgeving durf je er niet aan te denken dat plotseling al je windows installaties niet meer kunnen booten na een anti-virus update.

Ik heb dan liever dat er wel eens een virus over het hoofd gezien wordt dan dat er veel false-positives zijn. Het is natuurlijk geen ideaalbeeld omdat je beide niet wilt, maar ik heb in mijn ervaring vaker problemen met false-positives dan met virussen gehad die niet gedetecteerd waren. Dat laatste is meestal ook nog relatief eenvoudig op te lossen terwijl in het andere geval soms wel een complete re-install nodig is.

[arnoudwokke]

Weer een typisch gevalletje van "sappige headline = meer kliks" dus, gebeurt vaker.

Sterker nog: het is de basis van elk medium (krant, tv, website, alles) net als trouwens vrijwel elke vorm van communicatie. Net zoals je een cadeau mooi inpakt, zet je een goede kop boven een artikel die buiten het weergeven van de feiten ook als doel heeft om mensen met interesse voor het onderwerp erop te wijzen dat het artikel er is. Een goede kop is natuurlijk niet fout, suggestief of sensationaal, maar wel duidelijk en aansprekend. Dat is een dunne grens.

Dat is de theorie: de praktijk is in dit geval dat er de keuze is uit minimaal die 'insteken' (een insteek is vakjargon voor het onderwerp van kop en eerste zin(nen)):
1. MSSE scoort al met al ongeveer hetzelfde als andere als je alle tests samen neemt
2. MSSE heeft minder false posivites dan andere virusscanners
3. MSSE laat meer malware door dan andere virusscanners

Elk artikel heeft per definitie een insteek, zoals een film een begin heeft. Je moet ergens beginnen. Net als de auteur vind ik de derde hier journalistiek gezien een juiste keuze: malware bestrijden is simpelweg het doel van die software en als het daarop minder scoort, is dat het belangrijkste en dus de insteek.

Misschien dat je zelf voorkeuren hebt, waardoor je het gevoel hebt dat Microsoft tekort wordt gedaan met deze kop (of misschien werk je wel voor Microsoft en ben je daarom vooringenomen), maar er valt op deze keuze journalistiek simpelweg weinig af te dingen.

[Verwijderd]

Als je kijkt in het onderzoek, dan zie je dat de false positives soms heel populaire software omvatten. Zo worden bijvoorbeeld GoogleEarth en MS Office door sommige als malware aangemerkt. Dat is software die door miljoenen gebruikt wordt. False positives zijn dan extreem schadelijk!

En hoeveel malware komt er jaarlijks op je pc? Dat is op één hand te tellen... Sterker, in de afgelopen 10 jaar, heb ik één keer met malware te maken gehad!

False-positives zijn dus veel ernstiger dan false negatives, omdat de kans er op, en de impact veel groter is. (Zo ook in de medische wereld). En verder levert het frustraties, en de neiding de virusscanner te gaan negeren, hetgeen het totale concept van de scanner omzeep helpt! (Net zo als firewalls die constant klagen, zodat de gebruikers gewoon alles altijd toestaan, en dus ook malware toestaan.)


Maar laten we eens een stap terug doen... Wat was er nou eigenlijk nieuwswaardig aan het bericht? Als je een groep van 20 virusscanners vergelijkt, dan zal er per definitie iemand op plaatst 20 staan bij een subtest. Dát opzichzelf is geen interessante informatie.

Het wordt pas interessant als die hoeveelheid detectie ontoereikend was. De onderzoekers geven echter expliciet aan dat deze laatste plaats nog altijd een zeer dikke voldoende is. Ook geen reden dus om dat in een nieuwsbericht te plaatsen. Verder zie je ook dat geen enkele virusscanner foutloos is. Het is gewoon een gradatie, waarbij niemand het perfect doet. Hoe goed je het doet, hangt dan ook samen met het aantal falsepositives, de prestaties, geheugen cpu gebruikt, etc etc.


Kijken we naar die andere test, het totaal ontbreken van false-positives bij MS. Is dat nieuwswaardig? Ja. Want het is uitermate bijzonder dat er geen enkele false-positive komt. Dat heeft slechts 1 product voor elkaar gespeeld! (Ik heb nog nooit een test gezien waarin dat uberhaupt gehaald werd) Dát is het ideaal van iedere scanner, en duidelijk heel lastig te behalen. Er daarmee veel meer bijzonder.

NB: Had MS hier gewoon de eerste plaats, maar ze hadden nog steeds enige false-positives, dan was het niet bijzonder geweest.


De conclusie moet dus zijn dat MS zich tot doel heeft gesteld geen false-positives te maken, hetgeen dan onherroepelijk er toe lijdt dat er wat meer false-negatives komen. Dat is geen negatief bericht waard, maar juist een positief bericht!

[ Voor 3% gewijzigd door Verwijderd op 18-04-2012 17:38 ]

[Olaf]

Kom nou, je brengt het bijna alsof het voornaamste doel van een av-pakket is om geen false positives te melden. Waarom zouden ze nog malware detecteren? AHBdV heeft er nooit last van! We vallen in herhaling en alles is al gezegd: het voornaamste doel van av-software is malware detecteren, dat vinden anti-virusbedrijven zelf, dat vindt AV Comparatives en dat vinden wij van de redactie. Als de zeer populaire applicatie van Microsoft daarin het slechtste scoort is dat nieuws. Punt. We onderschrijven het grote belang van false positives en noemen het resultaat nadrukkelijk in het bericht. Einde discussie lijkt me.

[mjtdevries]

dat vindt AV Comparatives

Dat is niet waar.

AC Comparatives maakt het heel duidelijk dat het voornaamste doel is om malware te detecteren EN TEGELIJKERTIJD geen false positives te hebben.

Dat kan je niet los van elkaar zien, dat heeft altijd met elkaar te maken.
Alle antivirus-bedrijven vinden dat, AC comparatives vind dat, alleen de redactie denkt er blijkbaar anders over.

Maar als de redactie graag het gevoel bij de lezers overbrengt dat ze biased zijn, dan is dat hun goed recht. Einde discussie.

[ Voor 45% gewijzigd door mjtdevries op 19-04-2012 11:30 ]

[Rataplan]

mjtdevries schreef op donderdag 19 april 2012 @ 11:13:

Maar als de redactie graag het gevoel bij de lezers overbrengt dat ze biased zijn, dan is dat hun goed recht. Einde discussie.

En als bovenstaande lezer zich van dergelijke stompzinnige fallacies bedient, gooit de redactie hier een slotje op, want van dergelijke bullshit zijn we niet gediend. Blijf hier voortaan maar weg.