Open brief aan techsites (that includes you, Tweakers.net!)

[iGadget]

Wellicht een mooie uitbreiding voor de 'reviews'-sectie: het is nu belachelijk makkelijk geworden om gestandaardiseerde reviews te maken van hardware, gericht op Linux. Als trouwe tweakers.net lezer lijkt het me geweldig om hardware ook onder Linux gereviewt te zien.

Zie http://www.phoronix.com/s...le&item=open_letter&num=1

Een quote uit de brief:

"So when you are all done benchmarking your next motherboard, processor, or system memory, why not boot PTS Desktop Live off a DVD or USB flash drive and try it? It does not touch your hard drive, it should boot in under a minute, and immediately from a few clicks of the mouse you can have new benchmark results to add to your review and complement your Windows testing. All of the actual testing is fully automated, so you can even go grab a drink while waiting to examine the standardized test results. This doesn't require any past Linux experience..."

Ik weet zeker dat jullie hier heel veel lezers blij mee zullen maken.

[MuddyMagical]

Ik ben het er wel mee eens dat een benchmark ook onder Linux kan worden uitgevoerd om een volledig beeld te geven en zeker omdat Linux deel uit maakt van de 'professionele' IT branch.

Maar de manier waarop deze open brief is geschreven en waarop men hun eigen suite aanprijst schiet mij in het verkeerde keelgat. Ik denk dat vele techsites wel de kennis en kunde hebben om dit op een juiste manier te doen. Daarnaast blijkt die testsuite van Phoronix ook nog een paar problemen te hebben met fglrx drivers, dus wordt er ook geen goed gebruik gemaakt van de mogelijkheden.

Nogmaals, het idee erachter spreekt me aan, maar de manier waarop Phoronix het promoot niet echt.

[Alfredo]

Volgens mij probeert Phoronix hun eigen site/suite hier niet aan te prijzen, maar eerder het gebruik en erkenning van Linux door andere tech sites. Ze kunnen het ook exclusief voor hun eigen site houden, maar daar kiezen ze expliciet niet voor.
Lijkt mij dus wel fijn moest T.net hun reviews uitbreiden met Linux resultaten.

[Verwijderd]

Behalve "gemak" zie ik toch echt geen enkele reden om Linux te gebruiken voor benchmarks. Dat zou namelijk niet uit moeten maken. Het is toch gewoon een gevalletje "wij van WC-eend".

[Dr. Horrible]

Ik ben het eens met Cheatah, zolang je twee verschillende opstelling met elkaar vergelijkt met dezelfde software kan je precies zien wat voor verschil er tussen zit, of het nou windows of linux is. Tuurlijk zou het leuk zijn, geweldig zelfs voor de naamsbekendheid van Linux maar dit lijkt me toch een beetje overdreven.

En ik ben een hardcore linux-fan.

[_JGC_]

Natuurlijk is het een gevalletje "wij van Phoronix adviseren de Phoronix testsuite". Die tests zijn vaak ook niet veelzeggend. Benchmarks zijn redelijk universeel. Ik ben meer geinteresseerd in hoe de ondersteuning van een stuk hardware is dan hoe snel het door de Phoronix benchmark vliegt.

[Verwijderd]

Ik ben voor, eens kijken of de reviewers van tweakers.net dit aan durven

[Edmin]

Aan de voorstanders:
wat voor hardware zouden jullie dan op Linux getest willen zien worden en hoe denk je dat de resultaten af zullen wijken van tests gedaan on der Windows?

[Boudewijn]

_JGC_ schreef op woensdag 19 augustus 2009 @ 23:44:
Natuurlijk is het een gevalletje "wij van Phoronix adviseren de Phoronix testsuite". Die tests zijn vaak ook niet veelzeggend. Benchmarks zijn redelijk universeel. Ik ben meer geinteresseerd in hoe de ondersteuning van een stuk hardware is dan hoe snel het door de Phoronix benchmark vliegt.

Inderdaad.

"Werkt het out of the box met een gangbare distro?".
Bijv ubuntu voor consumer spul en debian\rhel voor serverprut.
Of "zijn er uberhaupt drivers voor?"

Imo interessanter dan de benchmark.

[ Voor 3% gewijzigd door Boudewijn op 20-08-2009 00:01 ]

[imp-]

"Werkt het out of the box met een gangbare distro?".
Bijv ubuntu voor consumer spul en debian\rhel voor serverprut.
Of "zijn er uberhaupt drivers voor?"

Imo interessanter dan de benchmark.

Agreed, benchmarkresultaten zouden relatief gezien wel ongeveer hetzelfde resultaat moeten geven met dezelfde hardware. Daar is dus weinig toegevoegde waarde aan.

Interessante dingen die ik wel zou willen zien: is de hardware supported, vanaf welke kernel-versie is er support, werkt het met vrije drivers of enkel met propriëtaire (denk maar aan videokaarten)

[Boudewijn]

Of beter nog, werkt de 3rd party driver?

[Docho]

Edmin schreef op donderdag 20 augustus 2009 @ 00:00:
Aan de voorstanders:
wat voor hardware zouden jullie dan op Linux getest willen zien worden en hoe denk je dat de resultaten af zullen wijken van tests gedaan on der Windows?

Dat weet ik niet, daarom hebben we benchmarks nodig.


_{Sorry, ik kon het niet laten}

Serieus: ik neem aan dat in één van de komende weken de nieuwe processoren van Intel hier sowieso gereviewd zullen worden? Misschien is dat een goed moment om bij elke benchmark in die review linux mee te nemen?

[Boudewijn]

Mwa juist bij een CPU is dat weinig relevant.
Videokaarten lijkt me door andere drivers meer verschil in te zitten.

[Verwijderd]

Lijkt me redelijk zinloos. Over het algemeen wordt bleeding edge hardware in reviews besproken. En jammer maar helaas is Windows nog steeds 99% van de doelgroep voor bleeding edge hardware (namelijk gamers). Dat wil zeggen dat de drivers geschreven voor de nieuwe hardware ook gemaakt zullen zijn voor Windows.

Je krijgt dus helemaal geen goed beeld van hoe de hardware gaat presteren onder Linux, de drivers (indien aanwezig) zullen gewoon zwaar brak zijn. Vaak moet je toch even een tijdje geduld hebben voordat er goede Linux drivers komen (die er gelukkig vaak wel komen). Tegen die tijd is de hardware niet meer zo nieuw en helemaal niet relevant om te reviewen.

Het is natuurlijk iets anders met RAID controllers ed wat duidelijk gericht is op servers waar Linux een veel grotere doelgroep is, maar in dat geval zie je vrijwel altijd wel dat het ook onder Linux getest is.

Al met al zou het natuurlijk nooit uit moeten maken, de drivers zouden niet zoveel van de performance af moeten snoepen dat er een significant verschil in zit. In feite wat je dan test is in hoeverre de Linux drivers slechter zijn dan de Windows drivers, lijkt me niet direct de meest relevante informatie.

[CAPSLOCK2000]

Het zou allemaal niks moeten uitmaken, maar in praktijk doet het dat wel degelijk. Ik lees die benchmarks van Phoronix regelmatig, en tussen twee verschillende Linux kernels op exact dezelfde hardware kunnen vele procenten verschil zitten. De verschillen met Windows zijn ongetwijfeld nog veel groter.

Veel hardware en software doet aannames over wat de gebruiker wil. Soms wordt er zelfs geoptimaliseerd voor bepaalde benchmarks. Zeker wordt er geoptimaliseerd voor Windows. Een linux benchmark kan daar een heel andere kijk op geven.

Wat betreft hardware ondersteuning. 90% van de benchmarks gaat over CPU's, hardeschijven en videokaarten.
Zowel Intel, AMD als NVidia werken actief aan Linux drivers. Weliswaar met wisselende resultaten, maar dat is nu net het punt van benchmarken.

[Wiethoofd]

Een goed voorbeeld van hardware die getest moet worden onder Linux: het Nvidia ION-platform, deze heeft in Linux dankzij VDPAU wel de perfecte hardware ondersteuning (in XBMC) om full HD soepel af te kunnen spelen waar XBMC in Windows dit op dezelfde hardware nog niet kan doen vanwege de hardware acceleratie-beperking die CUDA/DirectX nu nog hebben.

Leuk dat je andere benchmarks in Linux uit wilt gaan voeren, maar als je dezelfde benchmarksoftware in 2 OS'en uit gaat voeren zul je op dezelfde hardware nauwelijks andere scores gaan krijgen zonder je OS helemaal te gaan tweaken en optimaliseren en/of hetzelfde te doen met je benchmarks. Niets zeggende waarden behalve een extra/hetzelfde getalletje zul je dan krijgen.

Een test met Linux wijst wel meteen uit of de hardware zonder nukken wil draaien en goed ondersteund wordt, maar een weekje wachten en vanuit de community zal er wel ondersteuning voor geboden worden dus zullen zich daar weinig problemen voordoen.

[Alfredo]

Verwijderd schreef op donderdag 20 augustus 2009 @ 02:30:
Lijkt me redelijk zinloos. Over het algemeen wordt bleeding edge hardware in reviews besproken. En jammer maar helaas is Windows nog steeds 99% van de doelgroep voor bleeding edge hardware (namelijk gamers). Dat wil zeggen dat de drivers geschreven voor de nieuwe hardware ook gemaakt zullen zijn voor Windows.

Lijkt mij niet altijd waar. De drivers voor USB 3.0 producten zijn eerst voor Linux verschenen. Daarvoor lijkt het mij trouwens wel interessant om een directe vergelijking tussen Windows en Linux te maken, om te zien of de prestaties verschillen (maar daar gaat het hier niet over).

Ik ben niet echt geïnteresseerd in de verschillen tussen Windows en Linux (buiten bovenstaande dan) en zou Linux benchmarks met Linux benchmarks willen vergelijken. Rekening houdende met de doelgroep uiteraard. Voor de laatste nieuwe grafische kaarten in SLI/Crossfire lijkt het mij inderdaad redelijk nutteloos.

De Phoronix suite is ook redelijk uitgebreid. Mogelijk zitten er zaken in die op dit moment niet meegenomen worden in huidige reviews, en kan er op zijn minst eens naar gekeken worden.

[Verwijderd]

Probleem is dat Linux met Linux vergelijken echt niets te maken heeft met het reviewen van de hardware.

Ook is het een beetje raar om te zeggen dat tussen 2 Linux versies een verschil kan zitten en daarom het verschil tussen Linux en Windows dan ook wel groot zou zijn. Dat heeft echt niets met elkaar te maken.

Wat je wil weten is hoe snel de hardware is, als je dan brakke software hebt waardoor je niet het maximale uit de hardware kunt halen dan heeft dat feitelijk niets met de hardware te maken. Waarom zou een hardware review dat mee moeten nemen?

Dat hoeft pas als het relevant is, bijvoorbeeld het testen van games bij een videokaart is het zeker interessant om te zien wat de hardware doet in de verschillende games zodat een accuraat beeld gevormd kan worden wat het ding doet.

Als er bij een specifiek stukje hardware iets boeiends te melden is over Linux (zoals betere hardware ondersteuning op het ION platform. (Iets wat ik zelf niet kan onderschrijven want mijn ION systeempje draait perfect 1080P onder Windows 7, wat wil je nog meer?)) dan kan dat ook prima in een regeltje of een paragraaf in de review.

Dat is een wereld van verschil met een Linux testsuite resultaat bij ieder stukje hardware.
Daarnaast is het alles behalve zeker dat de testsuite ook echt iets relevants te melden heeft voor de gebruiker.

Alfredo schreef op donderdag 20 augustus 2009 @ 04:32:
[...]
De Phoronix suite is ook redelijk uitgebreid. Mogelijk zitten er zaken in die op dit moment niet meegenomen worden in huidige reviews, en kan er op zijn minst eens naar gekeken worden.

Omdat het bestaat en iemand op een zeer storende manier (IMHO) aandacht trekt moet ernaar gekeken worden?

Ik kan niet zeggen dat ik het ooit gemist heb bij vrijwel alle hardware reviews ooit. If it ain't broke don't fix it!

[ Voor 16% gewijzigd door Verwijderd op 20-08-2009 05:16 ]

[CAPSLOCK2000]

Verwijderd schreef op donderdag 20 augustus 2009 @ 05:14:
Probleem is dat Linux met Linux vergelijken echt niets te maken heeft met het reviewen van de hardware.

Ik vind de prestaties van het systeem zoals ik het onder m'n neus krijg veel interessanter dan de theoretische vermogens van de hardware.

Ook is het een beetje raar om te zeggen dat tussen 2 Linux versies een verschil kan zitten en daarom het verschil tussen Linux en Windows dan ook wel groot zou zijn. Dat heeft echt niets met elkaar te maken.

Ik geloof dat we elkaar niet begrijpen. Ik weet zeker dat er flinke verschillen zitten tussen Linux versies. Ik weet ook zeker dat er verschillen zitten tussen Windows versies. Ik durf zelfs te beweren dat er nog wel verschillen zitten tussen de verschillende edities van Windows. Dan durf ik de conclusie dat er verschillen tussen Linux en Windows zijn ook wel aan. Ik kan me niet voorstellen dat je dat ontkent, dus ik zal je wel verkeerd hebben gegrepen.

Wat je wil weten is hoe snel de hardware is, als je dan brakke software hebt waardoor je niet het maximale uit de hardware kunt halen dan heeft dat feitelijk niets met de hardware te maken. Waarom zou een hardware review dat mee moeten nemen?

Omdat het in praktijk zo gebruikt gaat worden? Omdat ik graag van te voren weet welke hardware of software ik moet vermijden?

Overigens hoeft het niks met "brakke software" te maken hebben, maar wordt ook een hoop bepaald door de aannames van de ontwikkelaar en de gebruiker. Welk bestandsysteem je gebruikt kan meer dan 50% van de performance uitmaken op een bepaalde werkload. Een e-mail systeem moet snel om kunnen gaan met tienduizenden losse files, terwijl een mediabox juist met hele grote files om moet gaan zonder haperen.

Dat hoeft pas als het relevant is, bijvoorbeeld het testen van games bij een videokaart is het zeker interessant om te zien wat de hardware doet in de verschillende games zodat een accuraat beeld gevormd kan worden wat het ding doet.

Omdat je hardware nooit los gebruikt, maar altijd in combinatie met software vind ik het al snel relevant.

Als er bij een specifiek stukje hardware iets boeiends te melden is over Linux (zoals betere hardware ondersteuning op het ION platform. (Iets wat ik zelf niet kan onderschrijven want mijn ION systeempje draait perfect 1080P onder Windows 7, wat wil je nog meer?)) dan kan dat ook prima in een regeltje of een paragraaf in de review.

Dat is een wereld van verschil met een Linux testsuite resultaat bij ieder stukje hardware.
Daarnaast is het alles behalve zeker dat de testsuite ook echt iets relevants te melden heeft voor de gebruiker.

Als je van te voren al weet dat de ondersteuning beter is, dan hoef je niet te benchmarken. Je doet je benchmarks juist om uit te zoeken hoe het met de ondersteuning staat.
Het is ook echt niet de bedoeling om bij iedere review die hele suite te draaien, je kiest de relevante benchmarks.

Omdat het bestaat en iemand op een zeer storende manier (IMHO) aandacht trekt moet ernaar gekeken worden?

't is een tweaker die het hier heeft gepost. Phoronix heeft het alleen op z'n eigen website gepubliceerd. Ik vind het juist erg goed van ze. Menig andere site had z'n best gedaan om z'n benchmark prive te houden om te voorkomen dat anderen mee profiteren.

Ik kan niet zeggen dat ik het ooit gemist heb bij vrijwel alle hardware reviews ooit. If it ain't broke don't fix it!

Ik wel. Wat voor nadelen vrees jij dat het toevoegen van deze tests zal brengen? Ok, het kost wat meer tijd en de reviews worden nog wat langer, maar dat kan ik geen probleem noemen.

[ Voor 0% gewijzigd door CAPSLOCK2000 op 20-08-2009 13:16 . Reden: quote gefixed ]

[Wilbert de Vries]

Interessante discussie, waar we op de redactie zeker eens over na zullen denken. Ik zeg er op voorhand bij dat ik betwijfel of Linux op deze manier een standaard onderdeel van reviews zal worden, maar dat betekent niet dat we het helemaal moeten negeren.

[r0b]

Wilbert de Vries schreef op donderdag 20 augustus 2009 @ 20:40:
Interessante discussie, waar we op de redactie zeker eens over na zullen denken. Ik zeg er op voorhand bij dat ik betwijfel of Linux op deze manier een standaard onderdeel van reviews zal worden, maar dat betekent niet dat we het helemaal moeten negeren.

Net als de reviewers die $insert_smartphone een tijdje op zak hadden om hem uitvoeriger te kunnen testen zouden een aantal reviewers - voorzover ze dat al niet doen - voor een x aantal dagen / weken op een alternatief OS kunnen gaan werken?

Sowieso zouden een paar redactieblogs / korte reviews over T.net ervaringen met Snow Leopard (zeer binnenkort) en bijvoorbeeld Ubuntu 9.10 (ook vrij binnenkort) naast de huidige (p)reviews zeker niet misstaan

Met bovenstaande ga ik wel bijna geheel aan de OP voorbij, maar dat is imho dan ook niets meer dan ordinaire spam in een fris jasje. Alhoewel ze best wel een punt hebben.

[ Voor 10% gewijzigd door r0b op 23-08-2009 01:11 ]