Hahaha...jullie zouden voor de grap eens moeten zien hoe groot het verschil is tussen de mate waarin julllie jezelf (en t.net) serieus nemen, en de mate waarin de rest van de wereld dat doet.
Tweakers.net is nogal een outsider tussen de bekende engelstalige sites en heeft onder de bezoekers van deze sites geen bekendheid. AnandTech en Storage Review zijn daarentegen websites met een behoorlijk solide reputatie. Ook zijn de 'buitenlanders' niet op de hoogte van het werk dat Tweakers.net op dit gebied al heeft verricht. Het is niet zo vreemd dat mensen dan sneller geneigd zijn tot het geven van kritiek richting Tweakers.net.
Ik bezoek zelf wel eens de forums van Storage Review en post daar ook wel eens wat testresultaten. De bezoekers daar zijn enorm achterdochtig, willen niets aannemen en doen niets anders dan de stellingnames van Storage Review verdedigen.
Tweakers.net probeerde gewoon een 'piece of the action' naar zich toe te trekken. Helaas niet helemaal op een 'technologisch' en 'professioneel' verantwoorde manier.
Het gaat hier in eerste instantie om een Nederlandstalig artikel dat later is vertaald. Je zult het niet geloven, maar als wij hier producten testen en daar een artikel over schrijven doen we dat met de oprechte intentie om mensen te informeren en kennis bij te brengen. We zijn niet sensatiebelust.
Sorry, maar nuanceringen zijn niet mijn sterkste punt; Ik probeerde alleen aan te geven dat, wanneer je de internationale artikelen (en RAID theorie) erop naslaat, je uitkomt op dezelfde conclusie als Anandtech en SR.
Als je de benchmarks van SR en AT als leidraad neemt zul je inderdaad uitkomen op dezelfde conclusie. Punt is dat de testmethodieken van AT en SR nogal beperkt zijn, waar de ongenuanceerde conclusies die beide sites trekken ongefundeerd zijn.
Ik snap dus niet, anders dan publiciteit, de reden dat Tweakers.net met een benchmark komt waarmee ze hun lezers alsnog proberen te overtuigen van het ongelijk van Anandtech en SR (en een legio aan techneuten die veel ervaring met RAID systemen hebben, en al jaren hetzelfde roepen als Anandtech en SR).
De benchmarks bestonden al voordat AT en SR gingen verkondigen dat RAID nutteloos is. De testmethodiek van dit jaar is compleet anders dan die van vorig jaar maar in beide is sprake van een gezonde prestatiewinst dankzij RAID 0. Dit geheel in tegenstelling met de bevindingen van SR en AT. Persoonlijk ben ik niet op de hoogte van het 'legio aan techneuten die veel ervaring met RAID systemen hebben, en al jaren hetzelfde roepen als Anandtech en SR'. Er is een grote meerderheid van RAID-gebruikers die juist wél overtuigd is van de prestatiewinst van RAID 0. De zogenaamde experts op Storage Review, waar jij misschien op doelt, doen niets anders dan de standpunten in de reviews van SR verdedigen en napapegaaien. Die standpunten zijn discutabel.
Het artikel is geschreven vanwege de opmerkelijke verschillen in de bevindingen van AnandTech, Storage Review en Tweakers.net, niet om publiciteit te genereren of RAID 0 te promoten. Persoonlijk heb ik niks met RAID 0. Ik zou het gebruik ervan niet snel adviseren. Waar ik wel een grote hekel aan heb is dat bepaalde personen of instellingen met aanzien bij het publiek omstreden standpunten innemen op basis van onvolledige en beperkte informatie, waarna die standpunten door leken worden overgenomen zonder dat zij de keerzijde van het verhaal kennen.
Een discussie is er nml. nauwelijks gestart; Iedereen die een beetje professioneel bezig is, is het er mee eens dat RAID 0 niet thuis hoort op een desktop PC. De discussie die er nog plaatsvind, gaat voornamelijk tussen deze professionele techneuten, en een paar hobbyisten die glashard blijven volhouden dat RAID-0 *WEL* geschikt is voor de desktop (hun windows boot nml. een paar seconden sneller met RAID-0).
De vraag is in dit geval of het sneller is. Dat is ook waar AnandTech en Storage Review het over hebben. Of het (vanwege de lagere fouttolerantie) geschikt is voor desktopgebruik is weer een andere vraag.
Sorry, maar ik denk dat een discussie op zo'n laag technisch niveau, met zulke 'random' technische argumenten (lees: door gebruik te maken benchmarks die toevallig cijfers produceren die je stelling onderschrijven) zowel de eerder genoemde hobbyisten als de professionals weinig goeds brengt.
Wees eens specifiek.
Om heel eerlijk te zijn, denk ik dat de enige die (dmv. van een hoop extra page-views) uiteindelijk van deze hele opgezwengelde discussie profiteert, Tweakers.net is.
Het is de beter geïnformeerde gebruiker die profiteert.
Daarbij, de mogelijkheid dat Anandtech en SR hun ongelijk moeten toegeven dankzij Tweakers.net is natuurlijk iets wat enorme positieve publiciteit kan opleveren.
Ik verwacht niet dat AnandTech en Storage Review enige reactie zullen geven op onze tests. Op het forum van SR gebeurt dat al niet.
Het feit dat Anandtech en SR geen ongelijk hebben (zie zo'n beetje elke serieuse verhandeling over de effectiviteit van RAID-0 in diverse situaties voor bewijs), laten we daarbij even buiten beschouwing.
Dat is nou het probleem met de benchmarks van AnandTech en SR, die testen niet in 'diverse situaties' maar slechts in een zeer beperkt aantal scenario's. De desktop testmethodiek van Storage Review bestaat uit vier kengetallen (voor office, high-end, gaming en bootup performance) waarvan office, high-end en bootup zijn gebaseerd op één enkele trace. Tweakers.net gebruikt een veel uitgebreider scala aan tests (26 in totaal) om de indices voor office, workstation en gaming performance te bepalen.
3) Jullie dachten dat alle tweakers RAID-0 draaien thuis, en voelden jullie verplicht het op te nemen voor deze groep. Anandtech has no right to warp their fragile little minds...zelfs niet met de waarheid.
Met het verkondigen van dit soort onzin wordt je echt niet geloofwaardiger. Je denkt toch werkelijk niet dat wij tijd verspillen aan het schrijven van artikelen die als doel hebben om rechtvaardiging te vinden voor bepaalde zinnige of onzinnige aankopen van onze doelgroep. Wel willen we onze lezers zo goed mogelijk informeren over de mogelijkheden en kwaliteiten van bepaalde hardware.
Omdat ik me niet kan voorstellen dat 1) en 3) aan de orde zijn, kom ik logischer wijs uit op mogelijkheid 2): jullie weten dat de technische fundering onder jullie tests niet geheel in orde is, maar heck: het levert weer een boeiend stukje leesvoer op, met alle hits van dien.
Het RAID-artikel heeft vandaag ongeveer twee procent meer pageviews opgeleverd. Dat zal onze vermeende aandachtsgeilheid bevredigen!
De onderbouwing heb ik meerdere malen gegeven, in de vorm van verwijzingen naar de testresultaten en methodieken van andere sites, die tot een andere conclusie komen dat t.net. Of moet ik soms concluderen dat t.net de enige site is die WEL correcte methodieken gebruikt?
Het enige wat je doet is hameren op het feit dat de testmethodieken van Tweakers.net niet voldoen aan hoge wetenschappelijk standaarden. Daarbij verwijs je naar testmethodieken van andere sites waarvan je blijkbaar wel vind dat ze aan wetenschappelijke standaarden voldoen. Ik heb nieuws voor je: de testmethodieken van AnandTech, Storage Review en Tweakers.net hebben allemaal dezelfde beperkingen. Dat wil zeggen: we doen bepaalde aannames, gebruiken gesimplificeerde tests die niet gebaseerd zijn op de gemiddelde gebruikspatronen van een representatieve groep gebruikers en doen niet aan eindeloze herhaling van tests om toevalligheid uit te sluiten. Dit doen AnandTech, Storage Review en Tweakers.net zodat tests uitgevoerd kunnen worden door een enkel persoon, in plaats van door een laboratorium met een bezetting van honderd man. Er wordt door geen enkele hardware site of computer magazine op deze aardbol voldaan aan de door jou gewenste zware wetenschappelijke voorwaarden. Je hanteert verschillende standaarden voor de testmethodiek van Tweakers.net en de testmethodieken van AnandTech en Storage Review.
En dat alle andere sites er dus naast zitten? Meer voor de hand ligt, dat alle andere sites (en dan bedoel ik niet alleen anandtech en sr; er zijn echt tientallen rapporten vindbaar via google die min of meer tot dezelfde conclusie leiden als die van anandtech en sr.
Geef eens wat voorbeelden. Er wordt namelijk bijzonder weinig gedaan aan serieuze RAID benchmarking.
Jullie geven zelf ook aan dat van een aantal benchmarks jullie zelf niet eens weten wat er precies getest wordt.
Bij de IPEAK tests is het glashelder wat er getest worden. In de Benchmark Database zijn bij veel tests al beschrijving met gedetailleerde statistieken te vinden. Deze beschrijving zijn uitgebreider dan die op Storage Review en AnandTech (bij laatstgenoemde zelfs geheel ontbrekend). Bij stopwatchmetingen van een Windows-systeem is het natuurlijk veel moeilijker om een geïsoleerde testomgeving te krijgen en zijn de verschillen tussen metingen groter. IPEAK is een extreem betrouwbare benchmarktool die de tests in een bijna perfect geïsoleerde omgeving kan uitvoeren. De resultaten van verschillende runs liggen daardoor zelden meer dan een procent uiteen.
Anandtech (en anderen) beweren dat door het 'localized' karakter van de I/O operaties op de doorsnee desktop PC, de performance-winst van RAID-0 (wat vooral geschikt is om 'random' en 'sequentieel' I/O te versnellen) in de praktijk nihil zal zijn. Ze onderbouwen dit met diverse benchmarks.
Jullie beweren dus, dat de aanname dat op een desktop PC vooral 'localized' I/O operaties worden uitgevoerd, een verkeerde is, en jullie onderbouwen dit met diverse benchmarks.
Er wordt nergens beweerd dat er op een desktop pc geen voornamelijk 'localized' I/O operaties worden uitgevoerd. De discussie over wel of geen localized toegangspatronen doet geheel niet ter zake. Waar het om gaat is dat RAID 0 in de benchmarks van met name Storage Review een zeer matige prestatiewinst toont terwijl de winst in de benchmarks van Tweakers.net veel groter is. In het artikel worden een aantal mogelijke redenen voor de opmerkelijke verschillen genoemd. Storage Review onderbouwt de slechte performance scaling van RAID 0 in hun benchmarks door de hoge mate van localized I/O in desktopscenario's, wij zeggen dat de benchmarks van Storage Review te beperkt zijn en gebaseerd zijn op inmiddels verouderde applicaties.
De vraag is nu: wie heeft gelijk? Is RAID-0 nu weldegelijk sneller op de desktop, of is dat een mythe? En over wiens desktop hebben we het eigenlijk? Als er een paar honderd powerusende tweakers zijn, waarbij RAID-0 weldegelijk tot performance-winst leidt, lijkt het me duidelijk dat deze groep te klein is om iets nuttigs te kunnen zeggen over het nut van RAID-0 (al kun je inderdaad benchmarks bedenken die het dagelijks gebruik van deze users emuleert). Aan de andere kant, als blijkt dat RAID-0 op zo'n beetje elke desktop PC het starten van programma's, het laden van games, etc. weldegelijk versneld, dan is dit een zeer significante uitkomst, die inderdaad aantoont dat de 'dood van RAID-0' onterecht is.
In het artikel wordt duidelijk aangeven dat we het hebben over de doelgroep van Tweakers.net, Storage Review en AnandTech, met andere woorden de enthousiaste gebruiker die zijn systeem zwaarder belast dan de gemiddelde noob door multi-tasking, gaming en het gebruik van multimedia en content creation software.
Als je eens goed zou kijken naar de benchmarks van Tweakers.net dan zie je dat er tests zijn van office performance in verschillende scenario's, o.a. een kale Business Winstone 2004 trace met wat zeer lichte I/O van eMule en WinAMP in de achtergrond, een Business Winstone 2004 Multi-tasking trace waarin meer multi-tasking plaatsvindt, een Multimedia Content Creation Winstone 2004 trace waarin content creation software wordt gebruikt. In al deze tests resulteert het gebruik van RAID 0 in aanzienlijke prestatieverbeteringen. De verbetering van de I/O service time werd door mij als merkbaar ervaren tijdens het uitvoeren van simpele handelingen in Windows zoals het opstarten van applicaties. Of andere gebruikers dit zullen merken is geheel afhankelijk van de persoon in kwestie. Power users hebben een hogere 'gevoeligheid' dan 'normale' gebruikers die niet gefocust zijn op prestaties en hun pc louter gebruiken om bepaalde reguliere taken - emailen, een website bezoeken of een brief schrijven - tot uitvoering te brengen. Dat gaat tegenwoordig prima op middelmatige hardware.
Maar goed, wat nu de waarheid is gaan we niet ontdekken zolang Anandtech en t.net stellig bij hun mening blijven. Dan isset gewoon een kwestie van 'Two men say they're Jesus, one of them must be wrong...'
Ongenuanceerde uitspraken zijn zelden overeenkomstig de waarheid.
[
Voor 22% gewijzigd door
Jurroon op 10-08-2004 01:26
. Reden: Sommige antwoorden waren dubbel geciteerd en beantwoord :) ]