Onrealistiche streaming + gaming benchmark van tweakers

[JRMBelgium]

reviews: Intel Core i5 11600K, Core i7 11700K en Core i9 11900K 'Rocket Lake'
@Tomas Hochstenbach

Ik beschik zelf over een 5950x, en ik kan met 100% zekerheid bevestigen dat de performance impact die in de Streaming grafieken getoond wordt totaal niet realistisch is. Als je een video omzet naar x264 gaat de software er natuurlijk veel threads tegenaan gooien om de encoding te versnellen. Ook OBS zal by default veel te veel CPU recources gebruiken tijdens het streamen zonder custom settings. ( tot 60% CPU gebruik op mijn 5950x! ) Dat terwijl je OBS perfect kan limiteren tot 12 threads for 1080p medium x264 en met Project Lasso er zelfs voor kan zorgen dat OBS en andere software draait op de eerste CCD en je games op de 2e CCD ( aangezien er toch nog geen enkele game is die baat heeft met meer dan 16 threads. Op deze manier loop je ook niet het risico dat er meer core-2-core latency optreed wanneer de game runt op beide CCD's. Ook heb je op deze manier minder CPU overhead en dus minder CPU verbruik. Dat betekent ook hogere clocksnelheden op de cores die wel moeten werken, en dus betere game prestaties.

Ik kan perfect elke moderne game streamen op x264 1080p medium zonder ook maar enige merkbare performance impact op deze manier. Maar iemand zonder deze kennis gaat blindelings geloven dat F1 2020 streamen op een 5950x bijna 100fps gaat kosten.

Ik ben dan ook van mening dat Tweakers ofwel een realistische configuratie toepast. Eén die streamers met een single-pc setup werkelijk gebruiken, ofwel gewoon de benchmark verwijdert aangezien er een situatie gesimuleerd wordt die niet overeenkomt met de werkelijkheid.

Voor diegene die twijfelen, dit is Battlefield 1 op 4K Ultra met 150-170fps geconfigureerd op 8 threads met OBS geconfigureerd op 12 threads x264 1080p medium 65fps met verschillende sources ( inclusief 1080p webcam ) en mijn CPU verbruik schommelt tussen 20-50% afhankelijk van wat er gebeurd. Daarbovenop heb ik Instant Replay aanstaan en is mijn GPU dus constant een 1440p 60Mbit stream aan het recorden. Ik ben er zeker van dat als Tweakers hun benchmark toepast op Battlefield 1 dat de game performance een pak lager gaat zijn en het CPU gebruik een pak hoger.
https://clips.twitch.tv/S...ermaSmug-cDPXORR0IcSaofOI

Mijn suggestie voor tweakers:
Gebruik OBS met de extra setting threads=12 en record werkelijk de gameplay. Zo kan je simpelweg schrijven dat de benchmark niet succesvol kon uitgevoerd worden omdat er encoding lag optrad ofwel de werkelijke impact op de game aantonen als de benchmark wel succesvol kon uitgevoerd worden. Dan weten de consumenten perfect of de CPU goed bruikbaar is in een single-pc streaming setup. Reddit en OBS forums staan vol met users vol onbegrip dat ze nog steeds encoding lag of game performance impact hebben op een 5950x, maar dat is op zich logisch als zowel OBS als de game het maximum uit de CPU wil halen terwijl dat helemaal niet nodig is voor OBS om te streamen.

[Tomas Hochstenbach]

@JRMBelgium
We testen in feite iets anders dan wat jij denkt dat we testen, en ik moet ook zeggen dat de oorspronkelijke tekst niet de duidelijkste was. Die heb ik iets aangepast. De gerapporteerde framerate is niet de in-game framerate - die staat immers vast op 60fps - maar de framerate die de x264-encoder haalt. De test geeft dus een indicatie van hoeveel rekenkracht een processor 'over' heeft naast het draaien van een game.

De grootste uitdaging bij het ontwerpen van deze test was consistentie. We hebben een hoop geëxperimenteerd, ook met het omdraaien van het concept (de performance van de encoding limiteren en de game fps noteren), maar in veel gevallen zat er een enorme variatie in de resultaten die eruit kwamen. Met een test waar als je 'm drie keer draait drie keer een compleet ander getal uitrolt, kunnen we simpelweg niet zo veel.

Het limiteren van het aantal threads van de codec is in een individueel geval wellicht de beste optie, maar werpt een hoop uitdagingen op als je processors en masse wil gaan vergelijken. We testen bijvoorbeeld cpu's met allerlei verschillende aantallen cores en threads, een absolute limiet van zeg 12 threads betekent voor de ene processor vrijwel alle threads en voor de andere maar een fractie. Je zou een relatieve limiet kunnen gebruiken (bv. altijd 25% van het totale aantal threads), maar dan zijn de resultaten vermoedelijk niet erg vergelijkbaar meer. Plus, wat doen we met de aankomende processors met diverse soorten cores, waarvan de ene helft wel hyperthreading heeft en de andere helft niet?

Ons doel met de streamingtest in cpu-reviews is niet om te laten zien hoe je je eigen streamingsetup moet inrichten, maar om een indicatie te geven van hoe goed verschillende processors zich in verhouding tot elkaar lenen voor dit doeleinde. Tenzij je toevallig exact deze game en settings gebruikt zullen de absolute resultaten niet erg belangrijk zijn, maar de relatieve verschillen tussen processors maken we er mooi mee inzichtelijk. Als we ooit een artikel maken over hoe je het een single-pc-streamingsetup inricht, maken we ongetwijfeld andere keuzes, maar bij het ontwerpen van een goed vergelijkbare en consistente cpu-testmethode spelen ook andere afwegingen mee.

[Blaat]

@Tomas Hochstenbach vraagje, hoe zit het precies met het gebruik van QuickSync? Hebben jullie daar enig idee van?

Ik ben hiermee bezig: [BBG][November 2021] Streaming- en Editing Systeem

En ik vroeg me af of ruwe CPU kracht wel de juiste denkrichting zou zijn als je QuickSync als optie hebt. Van nVenc weet ik dat het een impact heeft op je gaming performance (zeker bij de lagere bitrates) maar dat zou bij QuickSync dus -hypothetisch gezien- niet hoeven.

Kleine kans dat jullie daar naar gekeken hebben, maar ik wilde toch de vraag stellen.

[Tomas Hochstenbach]

@Blaat We gebruiken geen GPU-accelerated encoding voor deze tests, het is immers een cpu-benchmark (geldt bv. ook voor Premiere Pro, DaVinci Resolve en Blender tests). Ik zou iig even goed checken in hoeverre je QS (of AMD's tegenhanger) kan gebruiken icm een losse videokaart. En als je gpu maar snel genoeg is, kan je een beetje inleveren voor NVENC ook wel hebben denk ik.

[JRMBelgium]

Tomas Hochstenbach schreef op donderdag 21 oktober 2021 @ 11:50:
@JRMBelgium
We testen in feite iets anders dan wat jij denkt dat we testen, en ik moet ook zeggen dat de oorspronkelijke tekst niet de duidelijkste was. Die heb ik iets aangepast. De gerapporteerde framerate is niet de in-game framerate - die staat immers vast op 60fps - maar de framerate die de x264-encoder haalt. De test geeft dus een indicatie van hoeveel rekenkracht een processor 'over' heeft naast het draaien van een game.

De grootste uitdaging bij het ontwerpen van deze test was consistentie. We hebben een hoop geëxperimenteerd, ook met het omdraaien van het concept (de performance van de encoding limiteren en de game fps noteren), maar in veel gevallen zat er een enorme variatie in de resultaten die eruit kwamen. Met een test waar als je 'm drie keer draait drie keer een compleet ander getal uitrolt, kunnen we simpelweg niet zo veel.

Het limiteren van het aantal threads van de codec is in een individueel geval wellicht de beste optie, maar werpt een hoop uitdagingen op als je processors en masse wil gaan vergelijken. We testen bijvoorbeeld cpu's met allerlei verschillende aantallen cores en threads, een absolute limiet van zeg 12 threads betekent voor de ene processor vrijwel alle threads en voor de andere maar een fractie. Je zou een relatieve limiet kunnen gebruiken (bv. altijd 25% van het totale aantal threads), maar dan zijn de resultaten vermoedelijk niet erg vergelijkbaar meer. Plus, wat doen we met de aankomende processors met diverse soorten cores, waarvan de ene helft wel hyperthreading heeft en de andere helft niet?

Ons doel met de streamingtest in cpu-reviews is niet om te laten zien hoe je je eigen streamingsetup moet inrichten, maar om een indicatie te geven van hoe goed verschillende processors zich in verhouding tot elkaar lenen voor dit doeleinde. Tenzij je toevallig exact deze game en settings gebruikt zullen de absolute resultaten niet erg belangrijk zijn, maar de relatieve verschillen tussen processors maken we er mooi mee inzichtelijk. Als we ooit een artikel maken over hoe je het een single-pc-streamingsetup inricht, maken we ongetwijfeld andere keuzes, maar bij het ontwerpen van een goed vergelijkbare en consistente cpu-testmethode spelen ook andere afwegingen mee.

Oh, dat wist ik niet. Maar als je geen cap doet op 12 threads, en meer heb je niet nodig voor 1080p 60fps 6000kbps, dan geef je ook geen enkele indicatie of het een goede streaming CPU is.
Als je een goede test zoekt die wel bruikbaar is op 90% van de moderne CPU's, dan kan je ook OBS limiteren op 8 threads, want meer heb je niet nodig voor 720p medium preset. Hoe dan ook denk ik niet dat de huidige manier van benchmarken ook maar enige indicatie geeft of streamen op de CPU werkelijk mogelijk is of niet. 25% van de CPU kwaliteit is geen optie omdat je al minimum 8 threads nodig hebt voor 720p x264 medium. Ga je lager dan kan je dropped frames in je stream krijgen, vooral bij snelle beelden of wanneer je de webcam ook nog eens fullscreen zet in een "just chatting" sessie.

Om de grafiek als voorbeeld te gebruiken:
Volgens de grafiek presteert een 3600, een 10700k en een 9900k ongeveer evengoed in streaming. In realiteit, als je werkelijk 1080p medium x264 gaat streamen, zal de Ryzen 3600 niet eens speelbare framerates hebben. Ik had zelfs serieuze framedrops ( -30% ) op mijn 3900x door de "lagere" IPC en de all core boost clock die dan vrij laag zit. Testen op een lagere preset dan "medium" is ook niet heel logisch omdat dan praktisch de GPU altijd een beter alternatief is om te streamen. Nvidia NVENC zit zelfs al extreem dicht op X264 medium kwaliteit.

[ Voor 3% gewijzigd door JRMBelgium op 22-10-2021 09:37 ]