lactaxative schreef op vrijdag 28 juli 2017 @ 22:12:
[...]
Beide voorbeelden die je geeft zijn nog steeds de beste manier van onderzoek doen in deze vakgebieden, je hebt altijd te maken met aannames en foutmarges. Dit is de precieze definitie van wetenschap, en het woordje schijn- is dus niet op zijn plaats. Het gaat erom dat de aannames en foutmarges op een goede manier uitgelegd staan. Zoals ik eerder al beargumenteerd heb, is dat misschien wel teveel gevraagd van praktisch ingesteld HBO niveau test-personeel (wederom met alle respect van de wereld).
Hetzelfde geldt - tot iemand met een beter voorstel komt - voor CPU benchmarken m.b.v. een stevige grafische kaart. Tot nu toe zijn de suggesties.
- Stevige GPU
- Reele GPU -> GPU bottleneck 95% van de testen -> geen data
- De suggestie van @Verwijderd: Het spelen van een game en een uiterst subjectieve mening geven over de speelbaarheid.
1. Het gaat fout wanneer de natuurwetenschappelijke methode op een verkeerde manier wordt gebruikt. De natuurwetenschappelijke methode werkt wanneer je alle variabelen in de hand hebt en 1 variabele vrij kan variëren met een grote precisie en nauwkeurigheid, dat veronderstelt dat deze variabele zeer nauwkeurig kan worden gemeten en andere variabelen geen invloed hebben op deze variabele. Vaak proberen mensen deze binnen de exacte vakgebieden zeer succesvolle methode te kopiëren naar andere vakgebieden (sociale wetenschap) en daar gaat het verkeerd. Maar goed, dat heeft weinig met het testen van CPU's te maken, echter was de analogie treffend omdat deze mensen bij het testen van de CPU's dezelfde methodische fouten maken. Ze hebben niet alle variabelen in de hand. Een duidelijk voorbeeld is hier het feit dat veel games niet meer dan 4/8 threads gebruiken. Dan zit je dus met het probleem dat het meer frames per seconde kunnen renderen door CPU X in 2017 bij spel Y weinig zegt over de 'gemiddelde' performance in 2020. Er wordt gesuggereerd dat CPU X sterker moet zijn en meer longevity moet hebben omdat die meer frames per seconde kan genereren (een verwaarloosbaaar verschil trouwens als je alle 4 de kernen op 3,8 GHz klokt maar dat terzijde) maar dat is een valse suggestie. Misschien ligt dat meer aan de interpretatie van veel mensen dan aan de mensen die deze testjes uitvoeren maar dit is volgens mij waar o.a. @
DaniëlWW2 en ik tegen ageren (maar ook bijvoorbeeld Jim van AdoredTV).
2. Ik denk dat het een fair punt van jou is dat de mensen die deze testen uitvoeren vaak zelf niet wetenschappelijk geschoold zijn, met de kanttekening dat de meeste mensen die een universitaire opleiding hebben afgerond eveneens niet voldoende wetenschappelijk geschoold zijn op deze manier (voldoende ervaring met het gebruiken van de natuurwetenschappelijke methode in een exact vakgebied).
3. Jij rukt nu mijn woorden uit de context. Ik stel voor dat je
aanvullend 'subjectief' beoordeelt naast het presenteren van meer objectiveerbare data. Dat gezegd hebbende, niet voor niets staat subjectief tussen apostroffen aangezien het redelijk betrouwbaar waar te nemen is als een spel de hele tijd hapert met microstutter. Ghost Recon Wildlands is een goed voorbeeld hiervan maar bij lange na niet het enige. Ik vermoed dat je hetzelfde zal zien als je BF1 speelt op een i5-7400 of een quadcore Ryzen. Of dat de 7600k het wel nog redt dankzij de hogere klokfrequentie weet ik niet maar gewone quadcore CPU's die niet hoger dan tegen de 4,0 GHz klokken trekken het bij sommige spellen niet terwijl de gemiddelde FPS en de 1% FPS wel suggereren dat die spellen goed gespeeld kunnen worden op deze CPU's. Dat is een illustratie van het klassieke probleem dat je een groot aantal statistische maten nodig hebt alvorens je ook maar enigszins betrouwbaar data kan interpreteren.
In dit geval - en dit heb ik hier veelvuldig bepleit en zou jij dus kunnen weten - zou je die dataset zeer eenvoudig kunnen uitbreiden door als reviewer framerenderplots te maken en de inputlag te meten. Presenteer de ruwe data zodat mensen die statistisch beter zijn onderlegd zich uit kunnen leven. Bereken de standaarddeviatie, geef de maximale framerendertijd en het aantal keren dat de framerendertijd boven een bepaalde waarde (wat dan ook de waarde is die als hinderlijk wordt ervaren, in ieder geval ruim on de 0,1 seconde) etc.
Die inputlag heeft natuurlijk ook nog met andere factoren (verbindingen tussen externe hardware en de chipset) te maken dan enkel hoe snel de grafische kaart frames kan genereren waarbij de CPU wordt betrokken. Meet die inputlag maar zoals bijvoorbeeld Linus (toch niet wetenschappelijk geschoold maar hij kreeg het uitgezocht, dat kunnen andere mensen ook doen) en Wendell (wel wetenschappelijk geschoold in de computer science) deden.
Kortom, ik pleit ervoor om het juist wel GOED aan te pakken en echt wetenschappelijk te werken in plaats van de schijn op te wekken dat je dat doet. Wek geen valse verwachtingen! Ja, het heeft enige relevantie hoe goed een entrylevel CPU functioneert met een highend grafische kaart. Enige! Want tegen de tijd dat een entrylevel grafische kaart (*50 ti) 1080 ti niveau haalt zijn we
minstens 4-5 jaar verder en dit is optimistisch ingeschat aangezien het 4-5 tiers hoger zit, gemiddeld per generatie de performance van tier X die van tier X+1 van de vorige generatie wordt en je 1-1,5 jaar per generatie hebt (als ik het mij goed herinner dichter bij de 1,5 jaar).
Ik zou alsnog kiezen voor een stevige GPU, maar suggesties zijn welkom.
Zoals ik reeds aangaf, ik zou kiezen voor alle mogelijke combinaties die je voorhanden hebt: een entry level grafische kaart, een midlevel grafische kaart (580/1060/1070) en een highend grafische kaart (1080 ti). Ik zou daanaast echter veel meer data genereren en de ruwe data presenteren in plaats van een samenvatting waar je weinig aan hebt. Ik zou daarnaast de input lag meten en ik zou dit alles goed kaderen met een goede analyse waarbij ik verschillende scenario's schets (benutten van meer kernen vs. niet benutten van meer kernen) en aangeef van welke ontwikkelingen dit af zou kunnen hangen (prijs voor CPU's met meer dan 4 kernen en 8 threads, remmende invloed van consoles, of dat spellen voor de PC worden ontwikkeld en worden geport naar consoles of andersom...).
Dat is veel moeilijker, het kost veel meer tijd maar dan heb je wat.
Waarmee we volgens mij bij het meer fundamentele probleem uitkomen. Die reivewers - ook hier op Tweakers en HWInfo zie je het - willen allemaal op dag 1 scoren. Op dag 1 moet hun review geplaatst zijn terwijl ze een week van tevoren (laat het 2 weken zijn) de hardware kunnen testen. Als ze op dag 1 iets plaatsen dan krijgen ze meer bezoekers en dus meer reclame-inkomsten. Allemaal kortetermijndenken.
Ik begrijp dat en ik neem het hen niet kwalijk aangezien ze daar nu eenmaal hun geld mee verdienen maar zou is het nu werkelijk teveel gevraagd dat je daarnaast ook investeert in de lange termijn en eens wat meer tijd uittrekt voor goed onderzoek en maanden later een sterk verbeterde review plaatst. Er zijn ook media die daarmee een goede reputatie hebben opgebouwd en die daardoor continue veel bezoekers blijven aantrekken, ook voor oude artikelen.
Er wordt echter wederom de fout gemaakt dat developers als doel hebben het beste product neer te zetten. Nee, developers hebben als doel om een game zoveel mogelijk te verkopen, en dient dus vooralsnog speelbaar te zijn op een i5.
Met alle respect, hoewel hier een kern van waarheid in zit is het dit zo categorisch stellen net zo simplistisch als het categorisch stellen dat het hun doel zou zijn om het beste product neer te zetten. In de praktijk heb je een mix. Ja, veel spellen zijn gericht op de lowest common denominator, denk aan spellen zoals Overwatch, CS:GO, LOL, Dota2, allerlei free to play spellen. Er is ook een categorie AAA-spellen die inzetten op het maximaal benutten van de hardware. Waarom? Omdat het een goed visitekaartje is voor wat een bedrijf kan (veel media-aandacht, gratis reclame hierdoor), omdat ze hiermee technieken ontwikkelen die ook voor simpelere spellen resulteren in een betere performance en misschien ook wel een betere gameplay...
Er zijn zelfs spellen die op bijna geen enkele PC goed gedraaid kunnen worden en niet alleen omdat ze slecht zijn geoptimaliseerd. Dit is nu helaas niet meer zo vaak het geval maar we hadden in het verleden tal van voorbeelden van spellen die nauwelijks te draaien waren op de meeste systemen toen ze uitkwamen, denk aan Crysis, Far Cry en Metro. Ter vergelijking: de consoles in die tijd (PS3, X360) hadden al moeite om ME2 en ME3 op de Unreal3 engine (zonder veel extra's zoals bij Borderlands 2 het geval is

) goed te draaien.
De wereld verandert echt niet omdat Ryzen uit is
De wereld verandert sowieso niet omdat er een nieuwe CPU uitkomt, laten we vooral het betrekkelijke van zoiets inzien.

Wat wel verandert is dat een 6c/12t CPU nu een midlevel CPU is geworden! Je kan nu voor €2000 zo'n CPU kopen (goed, in Nederland misschien nu €211 of €212), dat is dus vergelijkbaar met wat je voor de 6600 betaalde en wat je nu voor de 7600 betaalt. Wat ook verandert is dat Intel vanaf begin 2018 voor hetzelfde geld een 6c/6t CPU verkoopt als waarvoor Intel nu een 7600(k) verkoopt en voor hetzelfde geld een 6c/12t CPU verkoopt als waarvoor het nu een 7700k verkoopt. Denk even na over hoeveel spellen momenteel beter draaien op een 7700k in plaats van op een 7600k en bedenk hierbij dat die 7700k bijna 75% meer kost dan de 1600 en bijna 75% meer kost dan waarvoor je binnenkort een 6c/6t CPU van Intel kan kopen.
Stellen dat een i7 nog jaren volstaat is natuurlijk juist niet wetenschappelijk.
Ik deel niet jouw inschatting dat een i7 nog jarenlang volstaat als jij daaramee bedoelt dat het volstaat voor premium gameplay: geen microstutter, geen plotselinge veel sterkere dalingen van de FPS in vergelijking met een CPU die meer kernen en threads heeft, geen plotselingen stijgingen van de framerendertijd in vergelijking met...
Je zal er prima nog jarenlang mee kunnen gamen zoals je momenteel nog met een dual core prima kan gamen maar ik neem aan dat jij het met mij eens bent dat een dual core geen premium gaming mogelijk maakt voor alle laatste AAA-spellen. Hetzelfde principe, naar mijn inschatting.
Ik geef echter ruiterlijk toe dat we enkel kunnen speculeren ofdat de developers wel of niet de komende jaren meer dan nu meer dan 4 kernen en 8 threads gebruiken (geen typfout, lees zorgvuldig

). Merk op dat nu al en dat ook in 2016 al er spellen waren die de 7700k aan 100% CPU load deden geraken.
Dit is nu! De spellen zijn dermate bekend dat de meeste mensen hier bij minstens 4 van de 5 spellen direct ziet over welk spel het gaat.
De screenshots die je hier ziet komen van een 7600k (geen HT) die op 4,6 GHz (realistisch hoog!) is geklokt maar het is bijvoorbeeld van BF1 bekend dat die ook de 7700k op zijn knieën krijgt. Laten we voor de lol even veronderstellen dat de 7700k wel nog jarenlang meegaat zonder ooit aan 100% CPU load te geraken, for the sake of the argument, het feit dat de 7600k het al niet meer trekt terwijl die 7600k toch echt wel ruim boven het niveau van de CPU's in de meeste gamingsystemen zit (om maar te zwijgen over de consoles) geeft aan dat voor premium gaming toch iets meer is vereist dan de grootste gemene deler. Dat heeft natuurlijk gedeeltelijk te maken met de instellingen, zet de instellingen lager en je redt het wel maar daarom spreek ik dan ook over premium gaming.
Tot slot dit, net als jij hoop ik van harte dat we meer kernen nodig gaan hebben. Niet zo zeer voor graphics (dat zit redelijk snor) maar voor gameplay. Ik zou graag betere AI, betere botsingsdetectie (een van de meest onderschatte gebreken in spellen van nu), betere physics etc. willen zien. Dat zou veel meer toevoegen aan de beleving dan enkel het nog verder verbeteren van de graphics (niet dat ik zal klagen als ook dat verder verbetert). De graphics hardware is nog wel
redelijk bij de PS4, PS4 Pro en de X1X (Scorpio), je kan van alles bedenken wat ervoor zorgt dat de PC met betere grafische kaarten veel betere graphics krijgen (hogere resolutie textures, betere belichting, hogere resolutie...) zonder dat het uit de hand loopt en niet meer te programmeren is voor zo'n uiteenlopende systemen. Die CPU's in de consoles zijn verhoudingsgewijs veel primitiever en het brekebeentje. Ik vermoed dat de consoles een belangrijke bijdrage hebben geleverd aan het remmen van de vooruitgang van de gameplay.
PS
Deze reactie is een beetje lang geworden, aangezien er gepoogd werd om een serieuze discussie te voeren vond ik het ook een serieus antwoord verdienen.