Opmerkingen over het vergelijken van besturingssystemen

Pagina: 1
Acties:

  • MaestroMaus
  • Registratie: Februari 2009
  • Laatst online: 22-11-2025
Geachte redactie,

Vandaag heb ik jullie OS X vs Windows 7 artikel gelezen. Hierin vielen mij een aantal dingen op waarvan ik denk dat ze voor verbetering vatbaar zijn. Alvorens ik mijn standpunten echter opsom en beargumenteer wil ik graag benadrukken dat dit stuk als constructieve kritiek is bedoeld.

Het benchmarken van veel Adobe-software en dat real-world benchmarks noemen.
Wanneer het woord real-world benchmarks gebruikt wordt dan beweert men als schrijver (naar mijn mening) dat men resultaten geeft van tests waarin situaties die bij de "gemiddelde gebruiker" vaak voorkomen getest worden.

Nu kan het zo zijn dat mijn definitie afwijkt van dat van u. Ik weet niet of mijn definitie de "officiële-definitie" van dat woord is (als die er al is). Indien u onder die term verstaat: "Tests die met software gedaan worden die niet specifiek voor dat doel geschreven is." Dan motiveer ik u om daar even bij stil te staan. Het compileren van een kernel bijvoorbeeld is iets wat zich uitstekend leent voor een synthetische test. Maar is het zo dat omdat er geen test-suite omheen gemaakt is dit plotseling geen synthetische test meer is? En zo ja, is dat dan geen redelijk betekenisloos onderscheid voor mij als lezer? Of dat een test-scenario op alle machines nu geautomatiseerd gebeurt is of niet, het blijven dezelfde tests voor mij.

Tests als "het exporteren vanuit lightroom" zou ik daarom geen real-world benchmarks willen noemen. Het is niet iets wat de gemiddelde gebruiker vaak doet en het is niet eens een programma wat de gemiddelde gebruiker vaak gebruikt.

En dan nog het feit dat u zoveel Adobe programma's gebruikt. Waarom? Vraag ik u. Wanneer u veel programma van een leverancier gebruikt is het niet onwaarschijnlijk dat deze programma's door dezelfde mensen geschreven zijn. Deze programma's zullen bovendien allemaal ongeveer aan dezelfde kwaliteitsstandaard moeten voldoen en daarom dus nog waarschijnlijker eenduidige resultaten leveren.

Bovendien moet u er rekening mee houden dat programma's zoals Photoshop niet uitwisselbare programma's zijn. Een bug in de in de code voor de ene versie hoeft niet perse in de code van andere versie te zitten. Mocht er in de software suite van Adobe een bug zitten die meerdere programma's binnen die suite aantast dan zou het merendeel van uw tests een vertekend beeld geven.

Is het daarom niet veel slimmer om een diverse set applicaties te pakken die mensen vaker gebruiken? En is het daarom niet slimmer om te kijken hoe snel bijvoorbeeld programma's openen of wat de reactie tijd van programma's zijn? Dat zouden veel reëlere real world benchmark resultaten opleveren in mijn optiek.

Het booten van de twee OS'en
Mijn eerste en kleinste kritiek punt: laat aub de handen zien. Het niet zien van het drukken op de startknop garandeert mij als kijker op geen enkele manier dat deze PC's even snel zijn begonnen. Ja ik weet dat u makkelijk genoeg met een beetje handig knip en plak werk het dan als nog zou kunnen vervalsen, mocht u dat willen. Maar het zien van de handen geeft als kijker een soort van "dit is echt gevoel".

Mijn tweede en grootste kritiekpunt is dat u niet visueel bewijst wanneer de het OS ook daadwerkelijk echt bruikbaar is voor de gebruiker. Het is makkelijk genoeg om een OS heel snel te laten opstarten, maar als de gebruiker dan alsnog 2 minuten moet wachten totdat zijn draadloos netwerk er is, of 2 minuten moet wachten omdat er nog system-services gestart moeten worden dan is het opgestarte OS vrij nutteloos en zou het niet als opgestart gerekend moeten worden. Voeg aub het opstarten en bezoeken van tweakers.net toe aan aan uw opstartprocedure. Het is dan gelijk helder welk besturingssysteem daadwerkelijk opgestart is en welke nog niet.

Ik hoop dat ik u zo waardevolle feedback gegeven heb. Zoals al gemeld, dit zijn mijn meningen en dingen die ik zou verbeteren. Als u denkt dat ik het mis heb dan respecteer ik dit uiteraard. Ik ben hier tenslotte niet de redacteur van een goed lopende tech-news-site.

Met vriendelijke groet,

Maurits Buijs

  • Marc Rademaker
  • Registratie: Juli 2007
  • Laatst online: 20:00
Beste Maurits,

Bedankt voor de opbouwende kritiek. Er is voor enkele Adobe-programma's gekozen omdat deze zowel op OS X als Windows draaien. Daarbij zijn ze vrij populair en eenvoudig te downloaden. Het exporteren van foto's is misschien niet iets wat iedereen doet, maar het is wel een van de zwaardere taken die je als gebruiker uit kunt voeren. Iemand met een camera die raw's schiet zal al snel zijn voordeel kunnen doen met Lightroom of andere vergelijkbare programma's, zoals bijvoorbeeld Aperture.

Andere programma's, zoals Premiere of Photoshop maken elk op een andere manier gebruik van de cpu, vandaar dat we ze ook allemaal draaien. Zo zul je zien dat AMD-cpu's vaak met mediataken de langzamere cpu's zijn, terwijl ze in andere onderdelen weinig of niet onderdoen voor Intel-cpu's. Daarbij gebruiken we altijd dezelfde versie en downloaden we niet telkens de nieuwste versie. Pas na verloop van tijd, wanneer we van mening zijn dat een versie echt 'te' verouderd is, zullen we de overstap maken.

Het meten van de opstarttijd van programma's is vrij moeilijk. Ook is het een test waarbij de hdd of ssd de bottleneck zal vormen, en niet de cpu. Opstarttijden liggen met ssd's in de seconden, en dan heb je met een stopwatch al meteen een serieuze meetfout (reactietijd). Op dit moment wordt er wel gekeken naar de mogelijkheid om de installatietijd van software te meten, zoals dat van Premiere Pro of Photoshop.

Als je nog suggesties hebt voor het benchmarken dan hoor ik die graag. Er is namelijk juist geprobeerd om een standaard aantal applicaties te gebruiken, waaronder dus ook Handbrake of Quickpar, om gebruikers een idee te geven van de snelheid van een pc of laptop.

Wat betreft het booten, het laten zien van de handen was een optie geweest, maar het is geen enkel moment in mij opgekomen, omdat ik er geen enkele baat bij heb om vals te spelen en Windows 7 of OS X een voordeel te geven.

Verder wachten we tot het OS ook daadwerkelijk is opgestart. Zo start bij OS X de Finder op, en de pc is dan bruikbaar. Hetzelfde geldt voor Windows 7, waarin je de iconen nog ziet verspringen. Op dat moment is alles ingeladen en is het OS bruikbaar. Dit is van te voren al getest en geprobeerd. Fout was het geweest als de boottijd in Windows gemeten werd tot op het punt dat de desktop te zien is.

Het openen van een browser na het booten is een goed idee en ga ik overwegen.

Mocht je nog vragen hebben, dan hoor ik het graag,

Mvg,

Marc

  • MaestroMaus
  • Registratie: Februari 2009
  • Laatst online: 22-11-2025
Beste meneer Rademaker,

Dank u voor uw snelle reactie. Ik waardeer uw openheid.

Allereerst vraag ik me af of Photoshop wel zo populair is als u denkt dat het is. Naar mijn ervaring weet het gros van de mensen niet eens hoe ze met het programma over weg moeten, laat staan dat ze er veel geld voor willen uitgeven. Nu is het uiteraard ook zo dat de gemiddelde PC gebruiker Tweakers niet bezoekt en ik niet durf te schatten hoeveel mensen Photoshoppers zijn op Tweakers.net. In dat opzicht zou het dus een prima keuze kunnen zijn.

Dit neemt echter niet weg dat 3 van de 5 tests gerelateerd zijn aan de Adobe software wat naar mijn mening nog steeds te veel is. U geeft aan dat dit gedaan wordt omdat deze software zowel op OS X als op Windows draait maar ik vind dat een niet erg sterk argument. Er draait tegenwoordig erg veel op beiden. Een voorbeeld zou het media converteren met VLC kunnen zijn. Deze is bovendien non-profit waardoor deze mensen minder snel een voorkeur hebben voor een platform (waar normale bedrijven er baat bij hebben om het platform met de meeste gebruikers het beste te ondersteunen). Het is natuurlijk wel zo dat dit ook niet iets is wat veel mensen doen.

Verder zou u wederom kunnen denken aan browsers die niet platform specifiek zijn zoals Firefox, Chrome en Opera. Deze programma's zijn, zoals u weet, erg belangrijk voor veel gebruikers. Bovendien kunnen ze tegenwoordig zoveel dat ze ieder deel van de PC onder druk kunnen zetten, zo u dat zou willen. De Futuremark Peacemaker Benchmark zou bijvoorbeeld een goede optie kunnen zijn.

Een andere mogelijkheid zou 7-zip kunnen zijn. Dit is een open-source compressie tool met een ingebouwde benchmark functie. Het zippen van bestanden is immers een veel voorkomende taak bij gebruikers.

Met betrekking tot het bootfilmpje begrijp ik dat u misschien niet bedacht heeft dat mensen er iets achter kunnen zoeken. Maar laten we eerlijk blijven: u bent en blijft, hoe respectabel de site tweakers.net ook is, een bedrijf. Een bedrijf dat in een marktsegment zit waar reviewers reizen naar Disneyland, geld en andere cadeau's soms aangeboden krijgen voor een gunstige review (bron). U zou het lezers niet kwalijk moeten nemen dat ze kritisch blijven.

Met betrekking tot het opstarten van iets na het booten: ik merkte inderdaad op dat de iconen versprongen waren en dat de finder opgestart was. Maar iconen verspringen wel vaker bij Windows (per ongelijk f5 drukken buiten de browser zorgt er al voor). Ik moet u nu op uw woord vertrouwen terwijl u makkelijk mij bewijs had kunnen leveren door een programma op te starten.

Ik heb niet genoeg ervaring met Mac OS X om iets te zeggen over de finder maar lijkt me een meer eerlijke test als allebei de OS'en hetzelfde programma op moeten starten. De browser is daar bijzonder leuk voor omdat er dan ook meteen bewezen wordt dat de internet verbinding aanwezig is.

Dank u voor uw oprechte aandacht en tijd. Ik hoop dat ik u heb kunnen helpen

Met vriendelijke groet,

Maurits Buijs

  • Marc Rademaker
  • Registratie: Juli 2007
  • Laatst online: 20:00
Beste Maurits,

Ik ga even kort in op de verschillende punten. Het converteren van media middels VLC doen we reeds, maar dan met Handbrake. Dat is ook gratis software, geschikt voor zowel Windows als OS X.

Peacekeeper is een browserbenchmark. Daarmee test je voornamelijk de prestaties van een browser, en dat dan in combinatie met een OS. Dat kan interessant zijn, maar zegt niet veel over de prestaties van de hardware.

7-zip bestanden kunnen uitgepakt worden in zowel Windows als OS X maar dan nog zijn het verschillende programma's. De compressie die uitgevoerd zal waarschijnlijk nagenoeg identiek zijn, alhoewel ik mij afvraag hoe het bestandssysteem van OSX en Windows daar van invloed op zijn. Niet erg bruikbaar dus om OS-en te vergelijken. Wel wil ik de winrar benchmark gaan vervangen voor ons benchmarkprotocol dat we op laptops etc toepassen. 7zip is een goede kanshebber...

Over het filmpje, ondanks dat je argumenten niet al te sterk zijn, is het natuurlijk altijd beter om volledige openheid te bieden en op die manier niet de schijn tegen te krijgen.

Mvg,

Marc