Specifieke beschrijving bij moederbord...

[Snowwie]

Ik heb een Asus X99-A moederbord.

Bij de beschrijving staat onder andere het volgende:
4* Due to chipset behavior, The SATA6G_78, SATA6G_910 ports (black) do not support IRST including RAID configuration.

Dit bord heeft 8 sata poorten aan boord.

Nu heb ik even rondgeneust en kwam vervolgens bij deze vraagstelling over de data snelheid van ongecomprimeerd 4K 60fps beeldmateriaal:
https://forum.doom9.org/showthread.php?t=172064
De enige persoon die reageert, een ene Marisush, zegt:
raw, uncompressed ( yv12 format, typical for bluray, video cameras etc) : 12 bits per pixel x resolution x frames = 12 x 3840 x 2160 x 60 = 5,971,968,000 bps = 5,971,968 kbps = 711 MB/s (klopt zijn berekening? ik heb er geen sjoege van).

Ik heb 4 WD hdd's van 1TB in mijn computer, en deze zitten allemaal in een striped volume. De maximale schrijfsnelheid ligt rond de 600MB/s. 150MB/s per stuk.

Nu zijn die 1TB schijven niet zo verschrikkelijk duur, rond de 50 euro en ik zat te denken om nog gewoon een 5e schijf te plaatsen zodat ik mijn gameplay wel op de volle snelheid kan capturen. Ik blijf nu met oa. BF1 steeds steken op een FPS van ~55 op 4K. En of dat nu ligt aan de snelheid waarmee de schijven de data weg kunnen stouwen of aan mijn videokaart (Een Gigabyte GTX 1080), is mij niet helemaal duidelijk. Wat wel duidelijk is dat ik met de 4 schijven de volle snelheid die nodig is om 4K 60FPS uncompressed lossless te kunnen captureren ik minimaal 711MB/s nodig heb. Dat leveren mijn huidige schijven niet.

Nu heb ik nog 1 sata poort beschikbaar op mijn moederbord, maar ik weet ik niet hoe ik de opmerking:
4* Due to chipset behavior, The SATA6G_78, SATA6G_910 ports (black) do not support IRST including RAID configuration. precies moet opvatten. Je kunt namelijk hardware matig RAID instellen, maar het enige wat ik doe is softwarematig onder Windows enkel een striped volume instellen. Wat denken jullie? Kan die 5e schijf er gewoon bij en dan onder Windows een striped volume van 5 schijven? Overigens die extra terabyte kan ook zeker geen kwaad want na een uurtje spelen heb je met zo'n snelheid zo een bestand van 2TB.

------------

Voordat anderen er over beginnen, waarom ongecomprimeerd game opnamen maken? Nou dat zal ik zeggen, als ik on-the-fly moet coderen, dan worden zowel mijn CPU als GPU zodanig belast dat deze de 60fps niet meer halen. Verder levert on-the-fly coderen meestal een slechtere beeldkwaliteit op en stoort het de gameplay, het gaat oa. schokken. Met ongecomprimeerd captureren wordt de processor en de GPU niet gehinderd door het coderen en kan ik zelf ook gewoon soepeltjes blijven gamen. En laten we eerlijk zijn, die schijven tegen woordig zijn niet zo duur meer. Voor 250 euro heb heb 5TB dat in Raid 0 je 750MB/s levert, wat wil je nog meer?

[Peetz0r]

Het is zeer ongebruikelijk om als hobbyist met ruwe video te werken, al helemaal op 4k 60fps. Je ziet zelf al waarom: het i gruwelijk veel data die je gruwelijk snel wilt (moet) kunnen wegschrijven. Een duur raid volume op professionele hardware kan dit. Een raid chipset op een gamersmoederbord is dat niet. Misschien lukt het, maar je wandelt op het randje van wat haalbaar is.

Daarnaast, de berekening klopt wel, maar is niet van toepassing op jouw situatie. die 12 bits per pixel klopt voor het yv12 formaat wat sommige profi camera's gebruiken, wat je beeldscherm weergeft is "gewoon" rgb, 24 bits per pixel. Dus dubbel zoveel data: ruim 1,4 GB/s. Nu zit in mijn laptop een nvme ssd die dat kan wegschrijven, maar als je meer dan een paar minuten gameplay wilt vastleggen op deze manier wordt het een onbetaalbare hobby.

Wat de meeste streamers doen is toch ed video realtime encoden. Dit kost je pakweg een volle cpu core, op 4k 60fps wellicht zelfs meer. Dit kan inderdaad best een impact hebben op de prestaties van de game zelf. Hiervoor kan je compenseren door simpelweg een dikkere cpu met meer cores te kopen.

Een andere optie, wat de semiprof streamers vaak doen, is een tweede pc gebruiken met een hdmi capture card, en daarop encoden en/of streamen. Zo hoeft de eerste pc enkel de game te draaien, en de tweede pc kan gewoon een midrange laptopje zijn. Heb je meteen een tweede scherm+toetsebbord voor chat en andere dingen tijdens het streamen

Mocht je toch serieus 4k ruwe video willen opslaan, dan zou ik onderzoek doen naar dure profi storage oplossingen. Dit is met afstand de duurste optie, duurder dan een tweede pc van scratch bouwen. Ik heb hier te weinig verstand van om specifieke aanbevelingen te doen.

---

Terug ontopic, over RAID en je moederbord:

Wat je nu hebt ingesteld is software RAID0 in windows. Wat je sowieso moet weten is dat RAID0 een relatief groot risico is om je data kwijt te raken. Als je je hiervan bewust bent en enkel "onbelangrijke" ruwe video op die array zet hoeft dat geen probleem te zijn.

Software raid is meestal minder snel dan hardware raid, maar voor raid0 speelt dat amper. Verder is de "hardware raid" op een gamingmoederbord waarschijnlijk fakeraid, dus qua performance is het waarschijnlijk al helemaal niks bijzonders. Software raid heeft ook geen last van de beperkingen van jouw moederbord.

ZIe ook de RAID FAQ (let op! deze informatie is ruim 10 jaar oud! negeer alles wat over specifieke merken hardware gaat gerust).

Als je de raid van je moederbord wilt gebruiken, dan pas heb je te maken met die melding uit je handleiding.

Due to chipset behavior, The SATA6G_78, SATA6G_910 ports (black) do not support IRST including RAID configuration.

Dit slaat dus op sata-poorten 7, 8, 9 en 10 op je moederbord. Je zegt dat je er 8 hebt. Of ze nummeren vanaf 3, of je hebt er stiekem 2 extra, wellicht verstopt in een m.2 slot oid. Dat is verder niet enorm relevant, waar het om gaat is dat die poorten geen IRST ondersteunen. Dit is een tool van Intel die blijkbaar vanalles doet met de fakeraid op jouw moederbord. Ik ken deze software niet, dus ik durf niet te zeggen of je iets mist, of dat het gewoon gaat werken. Maar als je echt ruwe 4k 60fps video wilt verwerken, dan wil ik je terugverwijzen naar de tekst boven de streep

[CMD-Snake]

Die uitzondering geld voor de RAID vanuit het moederbord. Als je de RAID array gemaakt hebt softwarematig via Windows zal die beperking niet gelden.

Je kan trouwens beter investeren in een echte RAID kaart voor betere en betrouwbaardere prestaties. Als je array kapot gaat kan je die tenminste herstellen.

En al die vele harde schijven kan je zo vervangen met 1 of 2 grote SSD's en dezelfde prestaties behouden. Een enkele 1TB Samsung EVO 850 komt al akelig dicht op de maximale schrijfsnelheid van je huidige config. Zal ook denk ik veiliger zijn, nu als een disk kapot gaat is je hele striped volume foetsie.

[Snowwie]

Peetz0r schreef op zondag 21 mei 2017 @ 05:00:
Daarnaast, de berekening klopt wel, maar is niet van toepassing op jouw situatie. die 12 bits per pixel klopt voor het yv12 formaat wat sommige profi camera's gebruiken, wat je beeldscherm weergeft is "gewoon" rgb, 24 bits per pixel. Dus dubbel zoveel data: ruim 1,4 GB/s. Nu zit in mijn laptop een nvme ssd die dat kan wegschrijven, maar als je meer dan een paar minuten gameplay wilt vastleggen op deze manier wordt het een onbetaalbare hobby.

Oef, dat is een keiharde feit dat inslaat als een bom. 24 bits ipv 12 bits betekend inderdaad 1,4GB/s. Dan mag ik wel 10 van die WD's hdd's hebben, alleen mijn mobo heeft niet zoveel sata poorten. Ik heb overigens wel een een Samsung 950 Pro m.2 ssd. Die kan wel met zulke snelheden wegschrijven, maar naast Windows en een hoop games is daar nog maar 150GB op vrij. Met 1,4GB/s heb ik die schijf in iets minder dan 2 minuten vol.

Wat de meeste streamers doen is toch ed video realtime encoden. Dit kost je pakweg een volle cpu core, op 4k 60fps wellicht zelfs meer. Dit kan inderdaad best een impact hebben op de prestaties van de game zelf. Hiervoor kan je compenseren door simpelweg een dikkere cpu met meer cores te kopen.

An sich heb ik helemaal geen beroerde processor, een hexacore i7 5820k ge-OCt naar 4Ghz. Ik zou eens kunnen als ik games als GTA 5 of BF 1 op ultra speel in hoeverre de cores belast worden. Is dit nagenoeg 100% dan kan ik het encoden wel vergeten.
[quote[
Een andere optie, wat de semiprof streamers vaak doen, is een tweede pc gebruiken met een hdmi capture card, en daarop encoden en/of streamen. Zo hoeft de eerste pc enkel de game te draaien, en de tweede pc kan gewoon een midrange laptopje zijn. Heb je meteen een tweede scherm+toetsebbord voor chat en andere dingen tijdens het streamen [/quote]
Ik was altijd in de veronderstelling dat HDMI signalen beschermd werden door HDCP en niet zo maar opgenomen konden worden.

Mocht je toch serieus 4k ruwe video willen opslaan, dan zou ik onderzoek doen naar dure profi storage oplossingen. Dit is met afstand de duurste optie, duurder dan een tweede pc van scratch bouwen. Ik heb hier te weinig verstand van om specifieke aanbevelingen te doen.

Nee, dat is geen optie. Een betere optie is wachten tot er wellicht snellere media komt en ssd's aanzienlijk groter worden, of toch eventueel via een PCI-e 3.0 x16 Sata kaart met 4 sata poorten nog 4 schijven toevoegen, dan zou de theoretische snelheid van 1,4GB/s wel gehaald kunnen worden.

Wat je nu hebt ingesteld is software RAID0 in windows. Wat je sowieso moet weten is dat RAID0 een relatief groot risico is om je data kwijt te raken. Als je je hiervan bewust bent en enkel "onbelangrijke" ruwe video op die array zet hoeft dat geen probleem te zijn.

Klopt, is geen probleem, op deze raid 0 array staat verder geen andere belangrijke data.

Dit slaat dus op sata-poorten 7, 8, 9 en 10 op je moederbord. Je zegt dat je er 8 hebt. Of ze nummeren vanaf 3, of je hebt er stiekem 2 extra, wellicht verstopt in een m.2 slot oid. Dat is verder niet enorm relevant, waar het om gaat is dat die poorten geen IRST ondersteunen. Dit is een tool van Intel die blijkbaar vanalles doet met de fakeraid op jouw moederbord. Ik ken deze software niet, dus ik durf niet te zeggen of je iets mist, of dat het gewoon gaat werken. Maar als je echt ruwe 4k 60fps video wilt verwerken, dan wil ik je terugverwijzen naar de tekst boven de streep

Hehe, ik heb alweer zo'n handige Jopie geweest dat ik dacht dat het wel goed zat nog een 5e schijf toe te voegen (reeds besteld, ach het zal wel WAT helpen). Om in elk geval die 750MB/s te halen. Nou ja, maakt niet uit. Misschien later ooit een keer een aparte PCI-e 3.0 x16 sata kaartje waar dan ook minimaal 4 schijven op kunnen.

---

Uiteindelijk is het toch allemaal lood om oud ijzer omdat de uiteindelijk video toch gecomprimeerd gaat worden. Wat ik enkel op 4K en Ultra wil voorkomen zijn framedrops.

Hoe komt die ene gozer dan in hemelsnaam bij 12 bits per pixel?

CMD-Snake schreef op zondag 21 mei 2017 @ 14:26:
En al die vele harde schijven kan je zo vervangen met 1 of 2 grote SSD's en dezelfde prestaties behouden. Een enkele 1TB Samsung EVO 850 komt al akelig dicht op de maximale schrijfsnelheid van je huidige config. Zal ook denk ik veiliger zijn, nu als een disk kapot gaat is je hele striped volume foetsie.

Eensch, ben het helemaal met je eens, alleen ik heb eens nageteld met de hoeveelheid data die weggestouwd wordt tijdens 4K 60fps ongecomprimeerde gamecapture dat je die ssd's binnen no time kapot hebt. Daar zijn ze ook niet voor gemaakt.

Als er een disk kapot gaat is de striped volume foetsie. Jammer dan, er staat niets bijzonders op. Nieuwe schijf er in, nieuwe striped volume aanmaken en ik kan zo weer verder. Belangrijke data staat op m'n server en op bluray schijfjes.

[ Voor 8% gewijzigd door Snowwie op 22-05-2017 00:29 ]

[Peetz0r]

Snowwie schreef op maandag 22 mei 2017 @ 00:24:
[...]
Hoe komt die ene gozer dan in hemelsnaam bij 12 bits per pixel?
[...]

raw, uncompressed ( yv12 format, typical for bluray, video cameras etc) : 12 bits per pixel x resolution x frames = 12 x 3840 x 2160 x 60 = 5,971,968,000 bps = 5,971,968 kbps = 711 MB/s (klopt zijn berekening? ik heb er geen sjoege van).

Nou, omdat dat gaat over het yv12 formaat. Dit is een (van de vele) formaten voor video vanuit een camera' waarbij het beeld niet word opgeslagen als rood-groen-blauw maar als zwartwit en twee kleur-kanalen. Dit vanwege redenen uit de tv-industrie zoals enigszins backwards compatibel blijven met analoge kleuren-tv en indirect zelfs zwart-wit-tv, en apar comprimeren van kleurinformatie door die kanalen in een lagere resolutie o te slaan (chrome subsampling).

Deze uitleg is enorm kort door de bocht, als je meer wilt leren over hoe digitale video werkt dan is dit een leuke introductie:
YouTube: A Digital Media Primer For Geeks by Christopher "Monty" Mo...
(relevant stukje op 22:37)

[Snowwie]

Peetz0r schreef op dinsdag 23 mei 2017 @ 06:09:
Nou, omdat dat gaat over het yv12 formaat. Dit is een (van de vele) formaten voor video vanuit een camera' waarbij het beeld niet word opgeslagen als rood-groen-blauw maar als zwartwit en twee kleur-kanalen. Dit vanwege redenen uit de tv-industrie zoals enigszins backwards compatibel blijven met analoge kleuren-tv en indirect zelfs zwart-wit-tv, en apar comprimeren van kleurinformatie door die kanalen in een lagere resolutie o te slaan (chrome subsampling).

Ah oke, en nu zie ik ook het onderscheid bij de instellingen van Bandicam:



Je hebt YV12 .... en die 12 verwijst natuurlijk naar 12 pixels per bit.
Maar je hebt ook nog RGB24, dat zal dan die volle raw capture setting zijn waar je dus minimaal 1,4GB/s voor nodig bent?

Hmmm.....zou je het verschil echt zien wat betreft kwaliteit? Stel ik zou 10 hdd's in raid 0 zetten en met die snelheid kunnen opnemen. Dan vervolgens met Handbrake het beeldmateriaal encoderen, zou je dan verschil zien in kleurdieptes e.d.? Of is dat te verwaarlozen?

De meeste mensen horen namelijk ook geen verschil tussen 128 en 256kbit mp3's.

[Peetz0r]

Snowwie schreef op dinsdag 23 mei 2017 @ 19:30:
[...]

Ah oke, en nu zie ik ook het onderscheid bij de instellingen van Bandicam:

[afbeelding]

Je hebt YV12 .... en die 12 verwijst natuurlijk naar 12 pixels per bit.
Maar je hebt ook nog RGB24, dat zal dan die volle raw capture setting zijn waar je dus minimaal 1,4GB/s voor nodig bent?

Hmmm.....zou je het verschil echt zien wat betreft kwaliteit? Stel ik zou 10 hdd's in raid 0 zetten en met die snelheid kunnen opnemen. Dan vervolgens met Handbrake het beeldmateriaal encoderen, zou je dan verschil zien in kleurdieptes e.d.? Of is dat te verwaarlozen?

De meeste mensen horen namelijk ook geen verschil tussen 128 en 256kbit mp3's.

Als je het beeld niet verder inhoudelijk gaat bewerken (anders dan gewoon faden en snijden en titlescreens misschien), en het daarna toch wel gaat encoden met elke gangbare codec, dan wordt die data toch al weggegooid. Hoe eerder je het doet, hoe minder last je ervan hebt.

Maar ik zou alsnog eens kijken of direct encoden naar h.264 stiekem niet gewoon werkt. Probeer zowel de cpu als nvenc eens. nvenc gebruikt een specifiek fixed function deel van je videokaart en zou dus weinig/geen invloed moeten hebben op game-prestaties. Ik heb de ervaring dat de beeldkwaliteit van nvenc niet geweldig is, maar wie weet verschilt het bij jou. Proberen is sowieso de moeite waard.

Verder zou ik toch eens overwegen om gewoon 30fps te doen, ipv 60fps. Scheelt toch al de helft van de data. Natuurlijk, 60fps is wel toffer en zeker als je snelle acties vertraagd terug wilt zien is het zelfs heel erg nuttig. Maar het is toch echt dubbel zoveel data. Nogmaals, probeer verschillende combinaties en vind uit wat werkt.

Ik denk eigenlijk wel dat je een combinatie setting kan vinden die een redelijk resultaat geven zonder dat je nog meer hardware aan hoeft te schaffen. Wil je toch geld investeren in je hobby, dan zou ik toch neigen richting een capture kaart/dongle en een 2e pc (die je wellicht al hebt).

[Snowwie]

Mja, er zijn vele wegen die naar Rome leiden. Inmiddels is de 5e WD schijf aangekomen en ik zal die straks eens gaan installeren. Dan even een nieuwe striped volume en dan zou ik een 'theoretische' maximale schrijfsnelheid van ~750MB/s moeten halen.

Maar wees eens eerlijk, bekijk onderstaande video eens. Gecaptured met Bandicam en de YV12 codec, vervolgens gecodeerd met Handbrake en geupload naar YouTube. YouTube heeft er ook nog wel een handje van om een tikkeltje extra compressie toe te voegen heb ik soms het idee, maar in ieder geval, deze gameplay (ook al is het niet echt 'gameplay' maar meer een 'rij met de tank door huizen filmpje') ziet er toch gelikt en smooth uit? Als je dingen ziet in dit filmpje wat je opvalt dan hoor ik het graag. Als het gaat om fps, kleurdiepte, motion blur toeters en belllen whatever, alles wat maar voor verbetering vatbaar is: (Wel afspelen in 4K hè)
FPS ligt gemiddeld rond de 55. Besef wel dat alles op Ultra staat en op 4K 60fps dus dat vreet nogal systeembronnen.

[YouTube: https://youtu.be/yvXHRxwo2po?list=PLJvLRyOcLFERR1XacXueNSMXw3OgGoecn]

[ Voor 4% gewijzigd door Snowwie op 23-05-2017 23:30 ]

[Peetz0r]

Snowwie schreef op dinsdag 23 mei 2017 @ 23:30:
Mja, er zijn vele wegen die naar Rome leiden. Inmiddels is de 5e WD schijf aangekomen en ik zal die straks eens gaan installeren. Dan even een nieuwe striped volume en dan zou ik een 'theoretische' maximale schrijfsnelheid van ~750MB/s moeten halen.

Maar wees eens eerlijk, bekijk onderstaande video eens. Gecaptured met Bandicam en de YV12 codec, vervolgens gecodeerd met Handbrake en geupload naar YouTube. YouTube heeft er ook nog wel een handje van om een tikkeltje extra compressie toe te voegen heb ik soms het idee, maar in ieder geval, deze gameplay (ook al is het niet echt 'gameplay' maar meer een 'rij met de tank door huizen filmpje') ziet er toch gelikt en smooth uit? Als je dingen ziet in dit filmpje wat je opvalt dan hoor ik het graag. Als het gaat om fps, kleurdiepte, motion blur toeters en belllen whatever, alles wat maar voor verbetering vatbaar is: (Wel afspelen in 4K hè)
FPS ligt gemiddeld rond de 55. Besef wel dat alles op Ultra staat en op 4K 60fps dus dat vreet nogal systeembronnen.

[video]

Ik ben benieuwd wat voor snelheden je haalt. Heb je al benchmarks gedaan?

Maar ik zal eerlijk zijn. Ik vind het een mooie video en puur op basis van het kijken van de video kan ik niks op of aanmerken op wat ik zie. Daar ben ik niet kritisch genoeg voor.

Terug naar de theorie dan. Nee, op youtube zul je geen verschil zien tussen rgb24 (ook wel rgb888 genoemd btw) en yv12, simpelweg omdat youtube toch wel z'n eigen chroma subsampling doet. Je opmerking over "een tikkeltje extra compressie" is sowieso toch wel understatement van de dag.

Wat youtube doet, is je video her-comprimeren in een stuk of wat verschillende video's, die verschillen in resolutie, framerate, bitrate, en codec. Vervolgens wordt bij het afspelen een (nouja, twee, geluid gaat tegenwoordig apart) van deze streams op basis van de netwerkverbbinding en de schermresolutie en de voorkeuren van de kijker. Dit kan trouwens tijdens het kijken zowel handmatig als automatisch veranderen.

In het voorbeeld van jouw video is dit van youtube ervan maakt:

code:

[info] Available formats for yvXHRxwo2po:
format code  extension  resolution note
139          m4a        audio only DASH audio    48k , m4a_dash container, mp4a.40.5@ 48k (22050Hz), 2.88MiB
249          webm       audio only DASH audio    51k , opus @ 50k, 2.87MiB
250          webm       audio only DASH audio    67k , opus @ 70k, 3.57MiB
171          webm       audio only DASH audio   124k , vorbis@128k, 6.57MiB
140          m4a        audio only DASH audio   128k , m4a_dash container, mp4a.40.2@128k (44100Hz), 7.69MiB
251          webm       audio only DASH audio   135k , opus @160k, 7.11MiB
278          webm       256x144    144p         116k , vp9,         30fps, video only,   5.76MiB
160          mp4        256x144    DASH video   129k , avc1.4d400c, 30fps, video only,   6.72MiB
242          webm       426x240    240p         245k , vp9,         30fps, video only,  11.94MiB
133          mp4        426x240    DASH video   296k , avc1.4d4015, 30fps, video only,  14.84MiB
243          webm       640x360    360p         455k , vp9,         30fps, video only,  22.51MiB
134          mp4        640x360    DASH video   641k , avc1.4d401e, 30fps, video only,  31.51MiB
244          webm       854x480    480p         830k , vp9,         30fps, video only,  41.41MiB
135          mp4        854x480    DASH video  1174k , avc1.4d401f, 30fps, video only,  63.25MiB
247          webm       1280x720   720p        1761k , vp9,         30fps, video only,  84.80MiB
136          mp4        1280x720   720p        2343k , avc1.4d401f, 30fps, video only, 127.77MiB
302          webm       1280x720   720p60      2812k , vp9,         60fps, video only, 144.12MiB
248          webm       1920x1080  1080p       3087k , vp9,         30fps, video only, 152.49MiB
298          mp4        1280x720   DASH video  3479k , avc1.4d4020, 60fps, video only, 170.88MiB
137          mp4        1920x1080  1080p       4406k , avc1.640028, 30fps, video only, 243.58MiB
303          webm       1920x1080  1080p60     4938k , vp9,         60fps, video only, 249.32MiB
299          mp4        1920x1080  DASH video  5852k , avc1.64002a, 60fps, video only, 314.41MiB
271          webm       2560x1440  1440p       9476k , vp9,         30fps, video only, 488.59MiB
264          mp4        2560x1440  DASH video 10500k , avc1.640032, 30fps, video only, 574.86MiB
308          webm       2560x1440  1440p60    14288k , vp9,         60fps, video only, 731.03MiB
313          webm       3840x2160  2160p      21069k , vp9,         30fps, video only, 1.01GiB
266          mp4        3840x2160  DASH video 23232k , avc1.640033, 30fps, video only, 1.17GiB
315          webm       3840x2160  2160p60    28865k , vp9,         60fps, video only, 1.49GiB
17           3gp        176x144    small , mp4v.20.3, mp4a.40.2@ 24k
36           3gp        320x180    small , mp4v.20.3, mp4a.40.2
43           webm       640x360    medium , vp8.0, vorbis@128k
18           mp4        640x360    medium , avc1.42001E, mp4a.40.2@ 96k
22           mp4        1280x720   hd720 , avc1.64001F, mp4a.40.2@192k (best)

De bovenste paar formaten zijn audio en de onderste paar zijn er vooral voor oudere/beperkte youtube-implementaties, maar op regels 9-30 zie je hoe verschikkelijk verschillend de formaten zijn waarop youtube werkt, en je ziet ook welke resoluties en framerates bij welke bitrates horen. De "full blown" variant van jouw video is ruim 28 Mbit/s of ongeveer 3,5 MB/s aan data.

Ik ben nieuwsgierig wat voor bitrate de video is zoals jij die geupload hebt. Heb je trouwens de yv12 ruwe video direct geupload naar youtube? Hoe groot was dat? Hoe lang duurde het? Volgens mijn grove berekeningen kom ik uit op rond de 750 GB aan data. Met gigabit glasvezel duurt dat al ruim anderhalf uur. Met een normalere 50/10 dsl verbinding ben je een week (!) continue bezig!

Maar toch is het je gelukt, ik ben benieuwd.

[Snowwie]

Nee, ik heb hdd nog niet aangesloten. Ik heb zit namelijk (extreem) te dubben of ik misschien nog 5 extra schijven er bij wil halen dan 10 schijven van 1TB in raid 0 wil zetten zodat ik de theoretische snelheid van 1,4GB/s kan halen voor RBG24. Maar als het voor YouTube geen verschil uit maakt dan is het feitelijk niet nodig. Die schijf moet ik nog even inbouwen. Ik laat zeker hier nog wel even de benchmarks zien.

Wat betreft het encoderen, hiervoor gebruik ik Handbrake en een hoop geduld. Ik zet de slider bij "Quality" onder het tabje video op 22 of 23. De Framerate zet ik vast op 60FPS en hou een constante framerate aan. Dan het belangrijkste, bij "Optimise Video" zet ik de "encoder preset" altijd op very slow. Dit betekend dat de computer wel heel lang bezig is met encoderen maar dat de kwaliteit er ook naar is. Audio vind ik minder belangrijk, die zet ik meestal gewoon op standaard 128kbit/s als er ook muziek te horen is en zelfs slechts op 64kbit/s als het een tutorial video betreft waarin ik zelf aan het praten ben.

Ik heb de video van hierboven even niet direct tot mijn beschikking, maar de bitrate ligt over het algemeen rond de 30Mbit/s. Dat is ook vrij normaal voor 4K materiaal. Het is zelfs nog aan de lage kant, want degelijk 4K materiaal loopt al gauw op 40 of zelfs 50Mbit/s. Maar goed, je probeert ook rekening met je kijkers te houden, vooral die mensen die het basispakket van Ziggo hebben, en dus 40Mbit download snelheid hebben moet je geen video van 50Mbit voorschotelen. Ik ga die schijf nog plaatsen en ik kom later even terug met wat benchmarks.

[Kuusj]

In mijn ervaring heeft het absoluut geen nut om lossless op te nemen. Dat doe ik zelf wel als ik een video maak (omdat dit er toch maar 1 per jaar is), maar wat je er ook tegen probeert te doen: Youtube zorgt toch wel dat het uit komt te zien als poep

Het enige wat bij Youtube handig is om te doen is een video in 1080P maken, en die upscalen naar 4K. Kijk zelf (als voorbeeld, we laten de inhoud in het midden ):

De raw-footage van deze video is geschoten in lossless 1080P RGB 60FPS, maar kijk eens naar het verschil tussen 1080P en 4K op het filmpje, dat is gigantisch. Dat komt puur doordat Youtube een hogere bitrate voor een hogere resolutie toelaat.

Als het woordje Youtube ook maar ergens in een videoproductie valt, weet je dat het geen nut heeft om voor 1080P hoger dan 50MB/s te schieten.

[Snowwie]

Hmm oke, YouTube blijft een vage site, maar ik snap natuurlijk wel dat ze ook beperkt zijn in opslag en bandbreedte. Ook al doet de toename van het aantal filmpjes per dag anders vermoeden.

Goed, de 5e WD schijf is aangesloten en ik heb er een mooie striped volume van gemaakt:


De nieuwe schijf heeft een ietwat andere serienummer maar het type is gelukkig wel hetzelfde.

Dan ziet het het hele zootje er zo uit:


Nou daar kwam de 1e CrystalDiskMark test, op 4GiB.

Ik was enigszins verbaast over de ruwe lees en schrijfsnelheden wat grote bestanden betreft. Ik had hooguit 750MB/s verwacht aangezien deze drives gespecificeerd zijn op 150MB/s schrijven. Waar die 100MB/s extra dan nog vandaan komt, geen idee.
Aan de andere kant zijn de 4K snelheden om te huilen, maar mijn vermoeden bestond dat dit kon liggen aan het feit dat ik de benchmark draai met 4GiB bestanden.

Dus zodoende ook even testen aan het andere eind van het spectrum, op slechts 50MiB.

Wederom erg uiteenlopende snelheden. De 4K snelheden waren nu meer zoals verwacht. De ruwe leessnelheid van 1093MB/s is zelfs nog sneller dan bij de 4GiB variant. (WTF???). De schrijfsnelheid is daarentegen wat tegenvallend, maar goed, het gaat hier om relatief kleine bestanden dus dat zat er wel een beetje in. De Seq snelheid van 1352MB/s is ook erg opvallend.

Wat er van te maken? Geen idee. Maar waarvoor ik ze heb voldoen ze, en dat is ongecomprimeerde gameopnames maken met yv12 op 4K 60fps. Het zal mij benieuwen of ik nu de 60FPS wel volledig haal in BF1. Voorheen kwam ik niet verder dan 55FPS en wist niet helemaal zeker of dat kwam door de beperkte snelheden van slechts 4 drives of de Gigabyte GeForce GTX 1080 videokaart. Alhoewel een beest van een kaart heeft men wel eens aangegeven dat hij net niet snel genoeg is om BF1 alles op ultra in 4k op 60fps te doen. Maar testen zullen dit uitwijzen.

Wat maken jullie er van?

[Snowwie]

Topic Update:

Tijdens het capturen van BF1 op Ultra in 4K merkte ik geen verschil. Bandicam bleef ~55fps aangeven in de rechterbovenhoek. Hetgeen mij doet vermoeden dat de schrijfsnelheid niet een issue was. In principe zou het wel deels een probleem geweest moeten zijn geweest om dat normaal gesproken de gewenste 710MB/s niet gehaald zou worden.

Ik heb 19 minuten lang BF1 gespeeld en dit heeft een bestand opgeleverd van 759GB. Nu ben ik het door Handbrake aan het stampen naar een bruikbaar bestandsformaat, encodering gaat nog een kleine 1,5 uur duren. Kon op zich kiezen voor een snelle encodering maar dit gaat zodanig ten koste van de beeldkwaliteit dat ik liever kies voor het nemen van wat meer tijd. Ik zal straks deze gameplay uploaden naar YouTube en mogen jullie oordelen of jullie verschil zien tussen deze en het eerder genoemde filmpje.

Waar ik trouwens ook zo van baal is dat mijn videokaart in een paar maand tijd gewoon een paar honderd euro goedkoper is geworden. Heb ik nog 820 euro betaald voor een Gigabyte Geforce GTX 1080, zijn diezelfde kaarten nu al verkrijgbaar voor minder dan 600 euro. Een SLI opstelling met twee van die kaarten is een voor de hand liggende keuze in de nabije toekomst. Enige nadeel is dat ik dan ook op zoek moet naar een andere processor omdat mijn processor maar 28 PCI-e lanes ondersteunt. En hiervan worden ook al 4 lanes gebruikt door de m.2 ssd. Theoretisch zouden er nog 8 lanes over blijven voor een tweede GTX 1080, maar ik heb geen idee of er erg veel verschil zou optreden tussen 8 of 16 beschikbare lanes.

[CMD-Snake]

Maar waarom alles in 4K? Dit snap ik niet.

Meeste uploaders stoppen bij 1080p omdat alles daarboven onpraktisch wordt. Platformen als YouTube en Twitch sleutelen ook zelf aan je uploads en maken de kwaliteit minder daarmee. 1080p lijkt vooralsnog de sweetspot te zijn.

Het filmpje wat je gelinkt hebt kan ik overigens niet in een hoger format krijgen dan 1080p 60fps. Dat is de maximale optie die YouTube biedt in het menu.

[Snowwie]

CMD-Snake schreef op donderdag 25 mei 2017 @ 14:13:
Maar waarom alles in 4K? Dit snap ik niet.

4K is toch de toekomst. Jaren geleden zeiden we ook ooit eens 1024x768, hoger hoeft niet. Toen kwam alsnog HD. En het heeft YouTube aardig wat jaren gekost om HD te implementeren, helemaal de 1080p60fps variant.

Meeste uploaders stoppen bij 1080p omdat alles daarboven onpraktisch wordt. Platformen als YouTube en Twitch sleutelen ook zelf aan je uploads en maken de kwaliteit minder daarmee. 1080p lijkt vooralsnog de sweetspot te zijn.

Ik moet eerlijk bekennen dat werken met 4K beeldmateriaal behoorlijk intensief is voor de computer. Oke, de kwaliteit is er wel naar, maar het werken met 4K materiaal is lastig, simpelweg omdat het zoveel data bevat heeft mijn videobewerkingsprogramma er wel eens moeite mee. Maar ik doe ook heus niet alle filmpjes in 4K hoor, ik heb ook een brand account op YouTube genaamd Chaos Theory en de meeste video's daar zijn ook gewoon 1080p, puur omdat ik er sneller mee kan werken. Ik heb ook geen zin om een hele dag kwijt te zijn aan het encoderen van 4K beeldmateriaal.

Het filmpje wat je gelinkt hebt kan ik overigens niet in een hoger format krijgen dan 1080p 60fps. Dat is de maximale optie die YouTube biedt in het menu.

Dat betekend dat YouTube nog bezig is het het verwerken van de 4K versie er van.
Komt nog wel tevoorschijn. Kijk in de loop van de dag of morgen maar eens weer.

Hmm bij mij toont ie keurig 4K..
[YouTube: https://www.youtube.com/watch?v=4PucpaPqsZo]

[Snowwie]

Toch nog even hierop inhaken:

kuusj98 schreef op woensdag 24 mei 2017 @ 20:39:
In mijn ervaring heeft het absoluut geen nut om lossless op te nemen.

Door lossless op te nemen ontlast je wel je CPU en daarmee voorkom je ook framedrops zolang je schrijfmedia maar snel genoeg is. Maar wat kosten die hdd's tegenwoordig nu nog? 5 WD's van 1TB, ben je 250 euro armer en je naar hartenlust gecomprimeerd opnemen en kan je CPU en GPU zich met het spel zelf bezig houden. Dus dat dat "absoluut geen nut heeft' is niet waar.

Verdere topic Update:
Na het analyseren van de BF1 Monte Grappa video hierboven in vergelijking met de overige "BF1 crash door de huizen video's" ben ik tot de conclusie gekomen dat de extra schijf wel degelijk nut heeft gehad. In de "crash door de huizen video's" (die ik nu even "crash video's" ga noemen) zag ik incidenteel schokmomenten. En dit is logisch verklaarbaar. De videokaart stond op z'n maximum te puffen. Hij perste er maximaal 56fps uit. Die 56fps zou dan weggeschreven moeten worden op een medium die 697MB/s kon schrijven. Tenminste als ik in de TS gebruikte formule gebruik maar dan met 56fps. Die 56fps was het maximum, soms zakte ie ook wel eens naar de 50, maar hij bleef het gros van de tijd rond de 55 a 56 steken. Dus dan is het logisch dat als die 4 schijven in raid 0 niet sneller kunnen schrijven dan 600MB/s (aldus de specificaties) dat je dan een aantal framedrops krijgt. Na encodering zie je die dit later weer terug. Bekijk die crash video's maar eens goed, je ziet af en toe framedrops, kleine schokjes. In de Monte Grappa video hierboven vind je helemaal niet. En gezien de hardware configuratie nu verbaast me dat niets. De workload werd nu onder 5 hdd's verdeeld ipv 4. De 5 schijven stonden nu op wellicht 95% van hun maximale schrijfcapaciteit te werken.

Maar goed, de oorspronkelijke vraag is dus nu beantwoord, ik kon gewoon die ene sata poort gebruiken en de nieuwe schijf toevoegen aan de striped volume. Dus.. nu even kijken wie voor mijn gevoel het beste antwoord heeft gegeven en dan zijn we voor wat mij betreft klaar.

[ Voor 15% gewijzigd door Snowwie op 27-05-2017 02:57 ]

[Peetz0r]

Snowwie schreef op woensdag 24 mei 2017 @ 20:28:
[...]
Maar goed, je probeert ook rekening met je kijkers te houden, vooral die mensen die het basispakket van Ziggo hebben, en dus 40Mbit download snelheid hebben moet je geen video van 50Mbit voorschotelen. Ik ga die schijf nog plaatsen en ik kom later even terug met wat benchmarks.

De bitrate waarop jij encode is niet de bitrate die Youtube uiteindelijk aan je kijkers voorschotelt. Youtube re-encode de video sowieso naar z'n eigen presets met z'n eigen bitrates.

Wat betreft het encoderen, hiervoor gebruik ik Handbrake en een hoop geduld. Ik zet de slider bij "Quality" onder het tabje video op 22 of 23. De Framerate zet ik vast op 60FPS en hou een constante framerate aan. Dan het belangrijkste, bij "Optimise Video" zet ik de "encoder preset" altijd op very slow. Dit betekend dat de computer wel heel lang bezig is met encoderen maar dat de kwaliteit er ook naar is.

Dat lijkt me zonde van de tijd. Gezien Youtube sowieso alles re-encode met z'n eigen software heeft het weinig zin om zelf veel tijd te investeren om de efficienst mogelijke encoding te kiezen. Je investeert een boel encoding-time voor een besparing die alleen eenmalig bij het uploaden een beetje telt. Voor de kijker maakt het niet uit.

Audio vind ik minder belangrijk, die zet ik meestal gewoon op standaard 128kbit/s als er ook muziek te horen is en zelfs slechts op 64kbit/s als het een tutorial video betreft waarin ik zelf aan het praten ben.

Dat is dan ineens wel weer erg weinig. Als je toch met zulke hoge bitrates aan het smijten bent voor de video, zou ik rustig die voor audio gewoon op 160 of zelfs 256 gooien. Ik zou zelf het verschil niet horen maar anderen wel, zelfs (een beetje dan) na Youtubes re-encode.

---

Snowwie schreef op woensdag 24 mei 2017 @ 21:46:
[...]
Nou daar kwam de 1e CrystalDiskMark test, op 4GiB.
[afbeelding]
Ik was enigszins verbaast over de ruwe lees en schrijfsnelheden wat grote bestanden betreft. Ik had hooguit 750MB/s verwacht aangezien deze drives gespecificeerd zijn op 150MB/s schrijven. Waar die 100MB/s extra dan nog vandaan komt, geen idee.

De schijf is (zeker als hij nog leeg en nieuw is) sneller dan dat. In meerdere benckmarks lees ik 170-180 MB/s. Zie o.a. productreview: WD Blue WD20EZRZ, 2TB review door Soulshaker voor benchmarks van een losse disk.

Aan de andere kant zijn de 4K snelheden om te huilen, maar mijn vermoeden bestond dat dit kon liggen aan het feit dat ik de benchmark draai met 4GiB bestanden.

Het is normaal dat random reads/writes veel langzamer zijn dan sequential. Zker bij harddisks, maar zelfs bij SSD's is dit het geval. Heeft niet veel te maken met de totale filesize van de test.

Dus zodoende ook even testen aan het andere eind van het spectrum, op slechts 50MiB.
Wederom erg uiteenlopende snelheden. De 4K snelheden waren nu meer zoals verwacht. De ruwe leessnelheid van 1093MB/s is zelfs nog sneller dan bij de 4GiB variant. (WTF???). De schrijfsnelheid is daarentegen wat tegenvallend, maar goed, het gaat hier om relatief kleine bestanden dus dat zat er wel een beetje in. De Seq snelheid van 1352MB/s is ook erg opvallend.

Een test met een kleine filesize als deze is op z'n zachtst gezegd onbetrouwbaar. De enorm hoge snbelheid is vooral te verklaren doordat je schrijft naar de cache van de disk ipv de disk zelf. Verder is 50MB gewoon veel te klein om iets zinnigs over te zeggen.

Wat er van te maken? Geen idee. Maar waarvoor ik ze heb voldoen ze, en dat is ongecomprimeerde gameopnames maken met yv12 op 4K 60fps. Het zal mij benieuwen of ik nu de 60FPS wel volledig haal in BF1. Voorheen kwam ik niet verder dan 55FPS en wist niet helemaal zeker of dat kwam door de beperkte snelheden van slechts 4 drives of de Gigabyte GeForce GTX 1080 videokaart. Alhoewel een beest van een kaart heeft men wel eens aangegeven dat hij net niet snel genoeg is om BF1 alles op ultra in 4k op 60fps te doen. Maar testen zullen dit uitwijzen.

Wat maken jullie er van?

Ik ben benieuwd of je die 5fps extra wel of niet haalt met je nieuwe harddisk.

Ik ben ook nog steeds benieuwd wat nou precies de impact is als je toch direct tijdens het gamen h264 encodeert. Zeker ook in het verschil tussen cpu en nvenc encodings.

---

Edit: omdat het kan heb ik besloten een testje te doen. Ik heb jouw video in 2160p60 van youtube geplukt, ge-reencode op een extreem lage bitrate van slechts 1 megabit per seconde. Filesize ging van 1,5GiB naar 64MB op mijn machine, lokaal.

Vervolgens dat weer geupload naar youtube en kijken wat hun encodingproces ervan maakt.

Orgineel: YouTube: Battlefield 1 - Tank Destruction (4K-ULTRA) - Sao Fortress

code:

248          webm       1920x1080  1080p       3087k , vp9,         30fps, video only, 152.49MiB
137          mp4        1920x1080  1080p       4406k , avc1.640028, 30fps, video only, 243.58MiB
303          webm       1920x1080  1080p60     4938k , vp9,         60fps, video only, 249.32MiB
299          mp4        1920x1080  DASH video  5852k , avc1.64002a, 60fps, video only, 314.41MiB
313          webm       3840x2160  2160p      21069k , vp9,         30fps, video only, 1.01GiB
266          mp4        3840x2160  DASH video 23232k , avc1.640033, 30fps, video only, 1.17GiB
315          webm       3840x2160  2160p60    28865k , vp9,         60fps, video only, 1.49GiB

Reencode: YouTube: very low bitrate test - Battlefield 1 Tank Destruction 4K ULTRA

code:

248          webm       1920x1080  1080p       3384k , vp9,         30fps, video only, 152.06MiB
137          mp4        1920x1080  1080p       4349k , avc1.640028, 30fps, video only, 196.36MiB
303          webm       1920x1080  1080p60     4925k , vp9,         60fps, video only, 225.39MiB
299          mp4        1920x1080  DASH video  5789k , avc1.64002a, 60fps, video only, 239.22MiB
266          mp4        3840x2160  DASH video 17441k , avc1.640033, 30fps, video only, 642.11MiB
313          webm       3840x2160  2160p      20398k , vp9,         30fps, video only, 778.48MiB
315          webm       3840x2160  2160p60    27640k , vp9,         60fps, video only, 1.14GiB

Om redenen die ik maar half begrijp doet hij enkel 1080p60 en 2160p30 (en dus geen 2160p60 ookal is dat toch echt wat ik heb geupload), maar dat doet er niet toe. Hij neemt behoorlijk z'n tijd voor de >1080p >30fps encodes. Meer volgt...

Ik laat her trouwens alle resoluties behalve 2k en 4k en audio-only encodes weg. Zie vorige post voor een completer overzicht.

Voor de formaten die wel overeenkomen zijn de bitrates bijna gelijk. In mijn geval dus vele malen de bitrate die ik geüpload heb, in jouw geval iets eronder.

En natuurlijk is mijn video objectief lelijk

[ Voor 30% gewijzigd door Peetz0r op 27-05-2017 11:10 ]