Gevaarlijke aannames in SSD reviews

[Verwijderd]

De M4 ontbreekt trouwens op de pagina met energieverbruik reviews: Corsair Force 3 en Force GT-ssd's getest.

De grafiekjes over performance degradatie schitteren ook door afwezigheid.

---

De feiten.
De M4 is even snel als de Vertex 3 in de trace-based benchmarks.
De M4 is €30 goedkoper volgens jullie eigen scorekaart ofwel 15%.
De M4 scoort 4 sterren bij prestaties. De vertex 3 5 sterren.
Beide SSD's zijn 5 sterren waar bij het onderdeel 'prijs' .

Ik kan maar een reden bedenken dat de vertex 3 meer sterren waard is dan de M4. En dat is deze aanname:

De Vertex 3 en de Force GT hebben echter concurrentie van de C400, die als Crucial M4 voor slechts 170 euro over de toonbank gaat. Met name in onze trace-based benchmarks komt de ssd erg goed uit de verf. Dat komt omdat de trace-based benchmarks incomprimeerbare data genereren, waar de Vertex 3 en Force GT enige hinder van ondervinden. Normaliter is een deel van de data namelijk wel comprimeerbaar. Een nadeel van de M4 is wel dat ze pas erg laat het trim-commando toepast, waardoor de prestaties voor langere tijd lager uit kunnen vallen dan verwacht.

Kortom, jullie gaan er blijkbaar automatisch vanuit dat het gebruikmaken van comprimeerbare data ervoor zorgt dat het prijsverschil van 15% word overbrugd. En ik kan niet anders dan het daar niet mee eens zijn: bij random data maakt het geen knal uit of je nullen of random data schrijft.

Ik begrijp dat het heel simpel is om te zeggen "X en Y zijn even snel. Maar X kan data comprimeren en is dus sneller". Maar hoe meer ik erover nadenk. Hoe anterechter ik die bewering vind. Het is jammer dat de NAS performance toolkit geen nullen kan schrijven.

Het gaat mij trouwens niet perse om de score, maar ook om het feit dat de vertex 3 word aangeraden. Ik betwijfel dat je het verschil tussen de vertex 3 en M4 kunt merken behalve voor de meest zware gebruiker. In verreweg de meeste gevallen zou ik de gebruiker aanraden die 15% in zijn zak te houden.

[ Voor 7% gewijzigd door Verwijderd op 26-07-2011 21:39 ]

[Philflow]

Ik begreep die beoordelingen ook niet helemaal.

Verder vind ik het vreemd dat er geen aandacht wordt besteed aan de performance degradatie die kan optreden met alle Sandforce drives. Oftewel de Sandforce Throttle.

Dit is een Vertex 3 120GB na een hoeveelheid incompressible data:


Intel 510 of Crucial M4 hebben hier totaal geen last van.

[ Voor 10% gewijzigd door Philflow op 26-07-2011 21:34 ]

[ACM]

Verwijderd schreef op dinsdag 26 juli 2011 @ 21:26:
En ik kan niet anders dan het daar niet mee eens zijn: bij random data maakt het geen knal uit of je nullen of random data schrijft.

Ik begrijp dat het heel simpel is om te zeggen "X en Y zijn even snel. Maar X kan data comprimeren en is dus sneller". Maar hoe meer ik erover nadenk. Hoe anterechter ik die bewering vind. Het is jammer dat de NAS performance toolkit geen nullen kan schrijven.

Een stroom nullen is natuurlijk per definitie niet random en daarmee juist uitstekend te comprimeren. Random data kan dan ook per definitie niet uit uitsluitend nullen bestaan (nouja in theorie wel, maar de kans erop is vrij klein), dus ik snap je opmerking daarover niet zo goed?
Het aantal use cases waarbij je puur "random" data naar disk gaat schrijven is verder vrij beperkt, dan moet je bijvoorbeeld je disk willen vullen met versleutelde of gecomprimeerde data.

Desalniettemin ben ik het wel met je stelling eens dat als twee schijven even goed presteren, dat dan degene die dat zonder randvoorwaarden weet te bereiken het beste is op dat vlak. Maar als X en Y worst-case even snel zijn, en X common/best case juist sneller is dan in worst case en Y nauwelijks verschilt, dan is X natuurlijk wel sneller te noemen.

Ik heb geen idee welk van de twee varianten op die uitspraak in de review genoemd is.

[Verwijderd]

ACM schreef op woensdag 27 juli 2011 @ 08:31:
[...]

Een stroom nullen is natuurlijk per definitie niet random en daarmee juist uitstekend te comprimeren. Random data kan dan ook per definitie niet uit uitsluitend nullen bestaan (nouja in theorie wel, maar de kans erop is vrij klein), dus ik snap je opmerking daarover niet zo goed?

Goed comprimeerbare data zou per direct duidelik maken hoeveel profijt de sandforce lijn nu daadwerkelijk van de compressie heeft. Misschien gaat hij er maar 5% op vooruit. Misschien 50%. Maar dat is dus zeer interessante data. Sites die real-world benchmarks doen concluderen vrijwel altijd dat de M4 en vertex 3 zo goed als even snel zijn, wat mij al snel doet denken dat het effect van de compressie beperkt is.

Desalniettemin ben ik het wel met je stelling eens dat als twee schijven even goed presteren, dat dan degene die dat zonder randvoorwaarden weet te bereiken het beste is op dat vlak. Maar als X en Y worst-case even snel zijn, en X common/best case juist sneller is dan in worst case en Y nauwelijks verschilt, dan is X natuurlijk wel sneller te noemen.

De logische conclusie is dat de vertex 3 sneller is. Dat klopt. Maar hoeveel sneller? 1%? 5%? 30%? Is het die extra €30 wel waard?

[Marc Rademaker]

De M4 is helaas niet meer in ons bezit, en de energietests zijn er bij ingeschoten.

Om de perf/degradatie grafieken moesten enkele runs opnieuw gedaan worden, waar we nu mee bezig zijn.

Aan de hand van de reviews die ik heb gezien, is de M4 toch echt langzamer dan de Vertex 3. We raden de Vertex 3 dan ook aan, omdat deze het snelste is, tegen een goede prijs. Als ik persoonlijk iemand advies zou moeten geven, zou ik waarschijnlijk de Intel 320 aanraden. Dat is echter met een heel andere insteek dan waarmee we reviews schrijven.

[Verwijderd]

Aan de hand van de paar reviews die ik heb gezeien met real-world testen is de M4 de ene keer sneller, en de andere keer langzamer dan de vertex 3. Maar er zijn niet echt veel sites die te vertrouwen zijn wat betreft SSD reviews.

Bijvoorbeeld anandtech: De vertex 3 240GB zou 30% sneller zijn dan de M4 128GB:


Als ik techreport erbij pak, die trouwens geen review van de vertex 3 heeft maar wel data:
http://www.techpowerup.co...Z/Agility_3_240_GB/9.html

Is het verschil tussen de M4 128GB en de vertex 3 240GB 8% met alleen real-world benchmarks. Niet dat ik real-world benchmarks ideaal vind, het is erg makkelijk om inconsistente resultaten te maken daarmee.

[pino85]

Hmm ik moet zeggen dat dit wel wel een beetje een ander licht werpt op de review van tweakers.net..

PS: Darkstone en Philflow zouden een goede toevoeging zijn aan jullie review team omtrent ssd's.. just my cents..

[ Voor 57% gewijzigd door pino85 op 06-08-2011 14:19 ]

[Wilbert de Vries]

pino22 schreef op zaterdag 06 augustus 2011 @ 12:39:
PS: Darkstone en Philflow zouden een goede toevoeging zijn aan jullie review team omtrent ssd's.. just my cents..

Als zij bereid zouden zijn om gratis bij ons te komen werken en daarvoor elke dag naar ons kantoor in Amsterdam af te reizen, is dat een optie. In alle andere gevallen helaas niet Het zomaar uitbreiden van de redactie is natuurlijk niet zomaar gedaan. Elke persoon die je aanneemt betekent extra kosten die linksom of rechtsom op een of andere manier, direct dan wel indirect, terugverdiend moeten worden.

[Verwijderd]

^nee dus

[Femme]

Verwijderd schreef op woensdag 27 juli 2011 @ 11:33:
[...]
Goed comprimeerbare data zou per direct duidelik maken hoeveel profijt de sandforce lijn nu daadwerkelijk van de compressie heeft. Misschien gaat hij er maar 5% op vooruit. Misschien 50%. Maar dat is dus zeer interessante data. Sites die real-world benchmarks doen concluderen vrijwel altijd dat de M4 en vertex 3 zo goed als even snel zijn, wat mij al snel doet denken dat het effect van de compressie beperkt is.

Het stukje code in NAS Performance Toolkit dat de random data genereert is eenvoudig aan te passen. Ik had het in ieder geval vrij snel teruggevonden in de broncode. Ik heb alleen geen ervaring met het compilen van code in Visual Studio.

Heel veel bereik je er niet mee omdat het wegschrijven van 100 procent comprimeerbare data helemaal onrealistisch is.

De logische conclusie is dat de vertex 3 sneller is. Dat klopt. Maar hoeveel sneller? 1%? 5%? 30%? Is het die extra €30 wel waard?

Uit het feit dat Sandforce een write amplification factor van minder dan 1x claimt kun je wel concluderen dat compressie en de-dupe efficient zou moeten werken. Applicatiebestanden worden gemiddeld in omvang gehalveerd als ze gecomprimeerd worden met simpele gzip-compressie. Op de scratchfile van Photoshop is een nog veel hogere compressieverhouding mogelijk. Gecomprimeerde foto's en video's zullen daarentegen nauwelijks gecomprimeerd kunnen worden. Een prestatieverbetering van 15 procent lijkt me zeker haalbaar.

Dat de compressie van de Sandforce-controller werkt zie je ook terug in de schrijfsnelheden in de AS-SSD (niet comprimeerbaar) en IOMeter (schrijft alleen maar nullen). De Vertex 3 240GB haalt in IOMeter doorvoersnelheden terwijl hij in AS-SSD blijft steken op 235MB/s.

Philflow schreef op dinsdag 26 juli 2011 @ 21:32:
Ik begreep die beoordelingen ook niet helemaal.

Verder vind ik het vreemd dat er geen aandacht wordt besteed aan de performance degradatie die kan optreden met alle Sandforce drives. Oftewel de Sandforce Throttle.

Het throttlen van Sandforce-drives hebben wij ook soms last van. De tweeënhalf uur durende IOMeter run en het preparen van de drives door NAS Performance Toolkit (90GB data die weggeschreven wordt in een zo kort mogelijke tijd) kunen ervoor zorgen dat de drives gaan throttlen. De vraag is echter hoeveel effect het heeft in de real world waar het onwaarschijnlijk is dat een gebruiker zijn drive op een vergelijkbare wijze pijnigt behalve voor testdoeleinden.

[Wilbert de Vries]

Verwijderd schreef op zaterdag 06 augustus 2011 @ 16:49:
^nee dus

Ahhhh, echt niet ?

[pino85]

Wilbert de Vries schreef op zaterdag 06 augustus 2011 @ 16:38:
[...]


Als zij bereid zouden zijn om gratis bij ons te komen werken en daarvoor elke dag naar ons kantoor in Amsterdam af te reizen, is dat een optie. In alle andere gevallen helaas niet Het zomaar uitbreiden van de redactie is natuurlijk niet zomaar gedaan. Elke persoon die je aanneemt betekent extra kosten die linksom of rechtsom op een of andere manier, direct dan wel indirect, terugverdiend moeten worden.

ja dat is logisch en te begrijpen maar deze 2 personen hebben als ik het zo lees op GOT enorm veel kennis over de materie vandaar
Maar het geld groeit nergens op de rug, ach wellicht dat het in de toekomst kan als tweakers.net weer 20 sponsoren binnen haalt hahah( hopen he)

[Verwijderd]

Femme schreef op zaterdag 06 augustus 2011 @ 21:42:
[...]


Het stukje code in NAS Performance Toolkit dat de random data genereert is eenvoudig aan te passen. Ik had het in ieder geval vrij snel teruggevonden in de broncode. Ik heb alleen geen ervaring met het compilen van code in Visual Studio.

Heel veel bereik je er niet mee omdat het wegschrijven van 100 procent comprimeerbare data helemaal onrealistisch is.

Daar bereik je mee dat de je kan inschatten hoeveel profijt sandforce heeft van de conpressie. Stel dat je met de performance toolkit nullen schrijft en de score is 10% hoger, dan weet je een stuk meer dan nu het geval is.

[Femme]

Dat een Sandforce-controller erg snel is op het wegschrijven van nullen blijkt ook wel uit de IOMeter-resultaten. Je komt er niet verder mee om de vraag te beantwoorden hoe groot het verschil is tussen de prestaties op real world data en de willekeurig gegenereerde data door NAS Performance Toolkit. Real world data bestaat namelijk niet uit enkel uit nullen of enen en zal dus minder goed gecomprimeerd kunnen worden.

Wat overigens nog wel een mogelijkheid is, is om de bestanden die NASPT genereert de vervangen door hun orignelen (de bestandsnamen blijven behouden). Met een beetje moeite zouden we de originelen kunnen terugvinden. Het zou dan mogelijk moeten zijn om het verschil in leesprestaties te meten. Zodra NASPT gaat schrijven doe ie dat weer met data die uit zijn random data generator komt. Op zich zou het wel interessant zijn om dit eens te testen voor verschillende soorten bestanden.

Wat we ook zouden kunnen doen is een simpele file copy test waarbij we verschillende soorten bestanden (applicatiebestanden, jpegs, Photoshop scratchfile) naar een SandForce-ssd wegschrijven en dan de schrijfprestaties vergelijken met bestanden die een identieke grootte hebben maar random data bevatten. Dit geeft dan enigzins een idee van het verschil in schrijfprestaties tussen NASPT en real world bestanden.

[ACM]

pino22 schreef op zaterdag 06 augustus 2011 @ 23:17:
Maar het geld groeit nergens op de rug, ach wellicht dat het in de toekomst kan als tweakers.net weer 20 sponsoren binnen haalt hahah( hopen he)

't Is al even geleden dat wij primair van sponsoring moesten leven, sterker nog, ik weet niet eens zeker of er uberhaupt ooit een jaar is geweest waar dat het geval was... Maar meer winkels inschrijven voor de pricewatch en meer advertenties verkopen heeft natuurlijk hetzelfde effect

[pino85]

ja ik heb verder geen idee van de inkomsten maar zonder enkele sponsering draaien is wel het beste netjes hoor :)!