Update testresultaten Skylake-X

[Racing_Reporter]

@willemdemoor

Really, I don't know where to start with this one...

Whow. Ik schrik van hoe jullie dit publiceren.
Het staat allemaal al hierboven, maar het snijdt wel hout.
- AMD heeft er nooit een geheim van gemaakt dat er ruimte voor verbetering zit in de drivers. Is bijvoorbeeld de kieskeurigheid rond geheugen verminderd? Zijn prestaties verbeterd? Is al een stuk langer op de markt...
- Kennelijk 1 test die op 2 sites van dezelfde uitgever wordt gebruikt. Kan, maar door daarover te zwijgen geef je het een onterecht air van objectieve hertest.
- 'flink verbeterd', 'stuk beter': Ik zie 82 prestatiemetingen, met daaronder een paar resultaten tot -9%, een paar tot +10%, aardig wat tussen 2 en 6%, en vooral heel veel tussen 0 en 2%. Je moet wel een prinses op de erwt zijn om dat te voelen.
- De enige 'flinke verandering' is het idle verbruik. Dat gaat met gemiddeld 24% (!) omhoog. Ik meen dat ik ergens gelezen heb dat een processor gemiddeld zo'n 95% van zijn tijd minder dan 5% belast wordt. Ik zit as-we-speak op 2%.

Kan je die update ook uitsluitend inzetten tijdens het spelen van Hitman (medium)? Dat ziet er uit als het enige valide scenario.

En Tweakers, waar is eigenlijk de supersnelle hertest van AMD Ryzen nadat er een update kwam voor de memory issues die het platform had in het begin?

Twee reacties van @TweakSmout en mijzelf. Waar ligt dit aan dat er supersnel hertest wordt in het geval van de ene fabrikant, maar niet de andere? Dit issue ligt namelijk al wat langer op de plank, maar is gefixt en daar zijn ook grote veranderingen in performance waar te nemen, en compatibiliteit for that matter. Daarnaast zijn de resultaten van jullie tov jullie buren niet bepaald consistent. Een massief toename in verbruik in idle, ten opzichte van een boost die eigenlijk niet merkbaar is in de praktijk. Waar gaat het mis? Dit is niet de eerste keer dat Tweakers de plank misslaat, en dan ook niet op een millimeter. Verbazingwekkend, this is a true headscratcher?

Overigens, in het punt onder mijn punt zegt iemand dat dat ook voor de nieuwste driver had moeten gelden van AMD met Destiny en nog wat titels, waar significante verbeteringen waar zijn te nemen. Ben ik het dan weer niet mee eens, videokaarten zijn een compleet andere markt en dat doe je niet zomaar 'ff'.

[ Voor 3% gewijzigd door Racing_Reporter op 26-10-2017 16:11 ]

[3raser]

Wat ik vooral vreemd vind is

Al dat extra geturbo heeft wel een keerzijde; de 7960X heeft zowel idle als onder load, als gevolg van de hogere snelheden, veel meer energiebehoefte.

Geeft de nieuwe microcode de idle stand een veel hogere snelheid? Anders mag je toch verwachten dat het energieverbruik hetzelfde blijft?

Op HW.info schrijven ze juist:

Daarnaast is het idle stroomverbruik van de processors in de nieuwe tests veel lager.

Dat is in jullie grafiek niet te zien. Daar wordt juist het tegenovergestelde beweerd. Helaas kan ik op HW.info niet vinden wat het energieverbruik was voordat ze de testen aanpasten.

[willemdemoor]

Die informatie is inmiddels verwijderd bij HWi, we onderzoeken hoe het idle-verbruik zoveel hoger kan zijn. Voor nu hebben we het uit de review gehaald en we hopen in de nabije toekomst het verbruik van processor geïsoleerd te kunnen gaan meten, zonder invloed van moederbord en overige componenten dus.

[jaquesparblue]

willemdemoor schreef op donderdag 26 oktober 2017 @ 18:14:
Die informatie is inmiddels verwijderd bij HWi, we onderzoeken hoe het idle-verbruik zoveel hoger kan zijn. Voor nu hebben we het uit de review gehaald en we hopen in de nabije toekomst het verbruik van processor geïsoleerd te kunnen gaan meten, zonder invloed van moederbord en overige componenten dus.

Wordt er dan meteen een hertest van de Ryzen meegenomen? Wel zo netjes nietwaar?

[Racing_Reporter]

willemdemoor schreef op donderdag 26 oktober 2017 @ 18:14:
Die informatie is inmiddels verwijderd bij HWi, we onderzoeken hoe het idle-verbruik zoveel hoger kan zijn. Voor nu hebben we het uit de review gehaald en we hopen in de nabije toekomst het verbruik van processor geïsoleerd te kunnen gaan meten, zonder invloed van moederbord en overige componenten dus.

Mosterd na de maaltijd. Waarom wordt hier niet over nagedacht vóórdat er getest en gepubliceerd wordt? En daarnaast geef je geen antwoord op de rest van de even belangrijke vragen die er ook gesteld worden. Beter had ik m'n topic een titel gegeven die meer de lading dekte dan dit.

[3raser]

willemdemoor schreef op donderdag 26 oktober 2017 @ 18:14:
Die informatie is inmiddels verwijderd bij HWi, we onderzoeken hoe het idle-verbruik zoveel hoger kan zijn. Voor nu hebben we het uit de review gehaald en we hopen in de nabije toekomst het verbruik van processor geïsoleerd te kunnen gaan meten, zonder invloed van moederbord en overige componenten dus.

Dit maakt jullie test alleen maar minder betrouwbaar. Eerst test je enkele processoren waarvan de uitslag achteraf in twijfel wordt getrokken. Daarna komt er een microcode update en hertest je de processoren die vervolgens heel vreemde waarden laten zien. Dat publiceer je gewoon! En daarna haal je het weer weg omdat er vragen over worden gesteld. Was er werkelijk niemand die twijfels had over deze resultaten voordat er gepubliceerd werd? En waarom is dit dan niet nagevraagd bij Intel?

Het hele artikel is wat mij betreft onbetrouwbaar. Je kunt niet het ene deel van de test in twijfel trekken terwijl je de rest van de resultaten gewoon laat staan.

[WoutF]

We hebben vandaag samen met het gedeelde testlab (vandaar de overeenkomst in scores bij HWi en Tweakers) uitvoerig gepraat over wat hier misgegaan is. Want dat hier iets niet goed is gegaan, dat is duidelijk.

Sinds eerder dit jaar werken we met een gezamenlijk testlab en vooral voor Tweakers is dat een omschakeling in werkwijze. Waar een redacteur voorheen alles zelf deed (benchen + schrijven), is het nu een samenwerking tussen het testlab en de redacteur. Dat maakt dat we efficiënter werken en meer kunnen testen. Omdat er nu meerdere mensen aan een test/review werken vereist dat wel veel meer en nauwere communicatie, en daar is het hier misgegaan.

Een collega van het testlab kwam erachter dat de Skylake X-cpu's die we getest hebben niet goed hun maximale Turbo konden bereiken. Daar is ervolgens verder naar gekeken en toen bleek dat een ander bord
wel correcte Turbo's opleverde. Omdat we natuurlijk de juiste scores willen hebben van deze cpu's, die het maximale van hun kunnen weergeven, is toen besloten hertests te draaien. Dat heeft dus niks te maken met Intel voortrekken, maar met eigen resultaten corrigeren die vanwege een jong en problematisch platform afweken. Daarbij speelt ook dat Intel alle ondersteuning voor de Benelux heeft ingetrokken waardoor wij samples moeten zien te bemachtigen via andere kanalen. Dat is knap lastig, zeker bij dit soort cpu's, waardoor wij het moeten hebben van geleende samples die we vaak maar heel kort in huis hebben.

Probleem is dat de oorzaak en hoedanigheid van de afwijking uiteindelijk niet goed gecommuniceerd is tussen testlab en redactie. Daarbij is de verwarring onstaan over de invloed van het bord, bios en een microcode-update, die inderdaad is uitgerold, maar hierbij geen rol speelde. Daar bovenop kwam nog - zoals we na overleg achterhaalden - dat een vermoedelijk probleem met de c-states ervoor zorgde dat het gemeten idle-stroomgebruik bij de hertests significant steeg. Hier wordt nu verder naar gekeken. Die stijging staat dus los van de hogere cpu-scores door de gefixte Turbo, maar dat was aanvankelijk niet duidelijk en kwam ook niet naar voren in ons artikel.

Met dit alles zijn we alles behalve blij: ons doel is natuurlijk om data te publiceren die zo accuraat en relevant mogelijk is. De hele reden om met een gezamenlijk testlab te werken is juist zodat er mensen zijn met hun focus enkel op benches/testen, om zo de kwaliteit te garanderen. Deze huidige situatie is helaas het resultaat van een perfect storm van zaken die niet liepen zoals ze moesten, tijdsdruk, teveel aannames en onvoldoende checks van verschillende kanten.

Uiteindelijk hebben jullie hier als lezer weinig boodschap aan en moet wat op de site staat gewoon kloppen. Dat beseffen we ons. Maar omdat er veel users zijn die zich afvragen hoe dit gelopen is, wilde ik openheid van zaken geven en laten zien dat hier vol bovenop zitten. Hier op HQ hebben we inmiddels veranderingen in de processen doorgevoerd zodat dit niet nog een keer voorkomt.

Dit alles heeft dus niks met een voorkeur voor een merk te maken. Zoals gezegd heeft Intel de Benelux zelfs de rug toegekeerd sinds een jaar, en dat maakt ons werk alleen maar moeilijker. De reden dat er bij de microcode-update voor Ryzen niet een nieuw artikel is gekomen, is omdat we toen net de overstap naar de nieuwe testopstelling gemaakt hadden en de oude en nieuwe data daardoor niet vergelijkbaar was. De testdata van de Ryzen-cpu's die we gebruiken in artikelen is up-to-date en reflecteert het huidige prestatieniveau.

[3raser]

Duidelijk antwoord. Goed dat hier kritisch naar gekeken is en dat het niet zomaar aan de kant wordt geschoven. Tweakers is een community waar de gebruikers kwaliteit verwachten. Zoals de reclame zegt "zelfs de reviews worden gereviewed". Dat geldt voor artikelen vanuit Tweakers zelf natuurlijk des te meer.