Klopt, de AMTSO blijft vrolijk vergaderen en geld vangen. Ze hebben wel wat richtlijnen uitgebracht waar MRG zich trouwens netjes aan houdt tot zover ik weet. Van verschillende security vendors weet ik ook dat zij zich nooit zullen aansluiten bij de AMTSO, waardoor het uiteindelijke resultaat van de AMTSO (als dat er al ooit komt) ook maar betrekkelijk is.Bor de Wollef schreef op zondag 28 november 2010 @ 18:55:
[...]
Jammer genoeg is men het er nog steeds niet over eens hoe je objectief en betrouwbaar anti malware programma's kan testen.
Men test bij MRG juist de 0-day malware omdat die voor de meeste problemen zorgt. En men test ook of andere beveiligingstechnieken dan virusdefinities in staat zijn om een infectie van het systeem te voorkomen.Bor de Wollef schreef op zondag 28 november 2010 @ 18:55:
[...]
Ik vind het manueel loslaten van enkele uitgezochte samples op een aantal producten zeker niet de juiste manier en moeilijk objectief te noemen.
Vreemd is ook dat sommige producten redelijk tot goed scoren die doorgaans absoluut niet bij de top 5 horen (vb Panda antwi-virus) en een product als NOD32, welke doorgaans erg goed scoort, in alle testen "failed".
Het is toch al lang bekend dat de hele AV/AM industrie het niet kan redden met alléén maar virusdefinities.
Voert men alleen maar on-demand scans uit dan krijg je resultaten zoals te zien in de Virus Bulletin RAP tests, AV-Comparatives en AV-test.
Dat ziet er allemaal leuk uit maar geeft echt niet weer hoe de geteste programma's een systeem kunnen beschermen tegen 0-day malware.
Inderdaad, een mooi voorbeeld is Matousec. Gooi er meer geld tegenaan en je programma scoort hoger dan het programma van de concurrent. De mensen die er echt verstand van hebben weten wel dat het bij Matousec alleen maar om de centen draait. Echter, heel erg veel mensen weten het niet en kijken alleen maar naar de testresultaten bij Matousec. Die vele mensen zijn wél weer potentiële klanten voor de security vendors die zodoende weer in de verleiding komen om Matousec weer te betalen voor een nieuwe test nadat ze een bug hebben verholpen of een lek hebben gedicht.Bor de Wollef schreef op zondag 28 november 2010 @ 18:55:
[...]
Het jammere is dat test resultaten indirect voor inkomsten zorgen; immers wil iedereen het best scorende product; de kans op niet objectieve tests neemt daardoor behoorlijk toe.