Benchmarking video-encoding performance

[tonyisgaaf]

De vraag: hoe is bij jullie de video-encoding performance op een G4? En hoe op een G5? En hoe op een dual G5? Ik weet dat er testresultaten te vinden zijn op internet, maar ik vroeg me af hoe dat bij jullie met 'eigen' materiaal gaat. Als jullie één van onderstaande scenario's testen, ben ik al blij.
De reden dat deze vraag is ontstaan is omdat het mij hard tegenviel hoe snel het encoden van een stukje video op de Mac gaat.

Ik heb:
- iBook 12" G4 1,2GHz
- 768MB RAM
- OS 10.3.9
- iLife '05
- Quicktime Pro 7 (mocht je niet beschikken over Quicktime Pro, dan kun je alles, op Sorenson Video 3 Pro na, ook rechtstreeks vanuit iMovie doen)

Ik heb gedaan:
Ik heb in iMovie een paar stukken film van een DV-PAL tape achter elkaar geplakt en via 'Share => Quicktime => Full Quality' één 2,5GB (ca.12 minuten) bestand van gemaakt. Hierna met Quicktime geopend, bij 'Window => Show Movie Properties(CMD J) => selecteren Video Track' de resolutie veranderd van 720x576 naar 598x448 (voor afspelen op computer) en vinkje bij 'Deinterlace' geplaatst.
Een stuk van 13,9sec. geselecteerd en hierna via 'Edit => Trim to selection', zodat alleen deze 13,9sec. overblijven
Hierna via 'File => Export => ...'

Ik heb hierna geprobeerd (in alle gevallen slechts één keer):
In alle gevallen, alleen Finder en Quicktime geopend:
-Video Settings: Frame rate: current; Key frames: Automatic; Data rate: Restrict to 1400kbps (ongeveer gelijk aan één uur video per CD); Quality: High
- Audio Settings: AAC, Stereo, 44.1kHz, CBR, 128kbps, Bit Rate, Better

1. De codecs:
2. Movie to Quicktime Movie; Sorenson Video 3 (afgekeken van www.apple.com/trailers, de meeste zijn in dit formaat): 2:27; 2,60MB; Heel erg gesmoothede beelden, veel details verloren, artefacts.
3. Movie to Quicktime Movie; Sorenson Video 3 Pro; one-pass VBR; 2:24; 2,60MB; Heel erg gesmoothede beelden, veel details verloren, weinig artefacts.
4. Movie to Quicktime Movie; H.264 fast one pass: 4:51; 2,01MB; Weinig details verloren, veel artefacts in begin
5. Movie to Quicktime Movie; H.264 fast one pass, frame reordering: 6:00; 2,02MB Weinig details verloren, veel artefacts in begin
6. Movie to Quicktime Movie; H.264 best two pass: 18:15; 2,67; Heel weinig details verloren, geen artefacts
7. Movie to Quicktime Movie; H.264 best two pass, frame reordering: 18:18; 2,69MB Heel weinig details verloren, geen artefacts
8. 2pass DivX crashte continu, sinds installatie QT7...
9. ffMpegX op XVID-ffMpegX-profile. Crashte ook aan het eind, wel snel (minder dan 4 min.) De incomplete .avi file was van goede kwaliteit, wel groene artefacts

1. Oftewel de volgende tijdsverhoudingen en totale bitrates (target was 1400+128=1528kbps):
2. 1:10,6 1532kbps
3. 1:10,4 1532kbps
4. 1:20,9 1185kbps
5. 1:25,9 1190kbps
6. 1:78,8 1574kbps
7. 1:79,0 1585kbps
8. n/a
9. n/a

[Verwijderd]

Ik heb geen tijd om deze tests te doen, maar ik kan er wel over zeggen dat encoding snelheid redelijk meestijgt met de cpu snelheid. Zowel de G4 als de G5 zijn er erg goed in omdat Altivec goed is in dit soort berekeningen. HD snelheid is waarschijnlijk te verwaarlozen omdat de data rates laag zijn.

edit: Ik ben trouwens sinds een tijdje behoorlijk Sorensen 3 Pro fan, sinds ik daar de beschikking over heb via Sorensen Squeeze 4 ( <-- super handig programma). Sor3 is behoorlijk licht op de cpu voor het afspelen ivm MPEG4 en zeker H.264. En de pro versie, dus niet die kreupele versie bij Quicktime standaard wordt meegeleverd, levert kleine bestanden met goede kwaliteit (2 pass natuurlijk). Ook af te spelen met oudere QT versies.
Squeeze kan ook erg kleine .flv bestanden maken, die je weer in Flash kan inladen en door iedereen met Flash plugin is af te spelen.

tonyiszekererggaaf want dat is ook mijn voornaam ;-)

[ Voor 54% gewijzigd door Verwijderd op 12-05-2005 00:17 ]

[tonyisgaaf]

Ik vind dus juist de performance van de voor Mac geoptimaliseerde codecs als Sorenson (Pro) en H.264 enorm tegenvallen.

Zonet ffMpegX opnieuw gedownload en geïnstalleerd en daarmee dus net de hele DV van 12min 48sec in 1 uur en 14 minuten ge-encode. (XVID ffMpegX, 592x448, 1400kbps, TwoPass, MP3, 48kHz, 128kbps).
Dat is dus in een tijdscompressieverhouding van 1:5,78, het bestand is 140,7MB groot, dat is dus 1501kbps, binnen de target bitrate van 1528kbps.
De kwaliteit is bijna gelijk aan het bronbestand, geen artefacts en geen blokvorming.

Ik vind de kwaliteit van de filmpjes op www.apple.com/trailers altijd ontzettend hoog, terwijl ze daar dus wel gewoon Sorenson Video 3 Pro gebruiken. Ik krijg die resultaten niet en vind de andere codecs onder de maat presteren qua kwaliteit/tijd verhouding, op ffMpegX met XVID (of DivX) na.

Welke codecs gebruiken jullie?

[tonyisgaaf]

Volgens mij ben ik enige die geïnteresseerd is in dit topic, of de titel is verkeerd
Nouja, misschien dan maar voor de laatste keer:
Ik heb een 'test' versie van Squeeze 4.1 met Sorenson Video 3.1 Pro losgelaten op de DV en de resultaten zijn inderdaad verrassend goed.
Profiel aangemaakt voor Quicktime Mov, Sorenson Video 3 Pro, 1400kbps, 598x448, TwoPass VBR met min. quality 50, automatic keyframes op 50. Squeeze deinterlaced automatisch. Audio op MP3 128kbps 48kHz stereo. Voor 5 seconde video ongeveer 34 seconde encoden, dus tijdscompressie ongeveer 1:7.
Uiteindelijke kwaliteit bijna gelijk aan origineel, beetje gesmoothed in sommige frames.

Grootste con: prijs van Squeeze, enkele honderden euro's. Dan is ffMpegX toch een stuk goeiekoper (lees: gratis).

Gebruiken anderen nog andere codecs?

[MacWolf]

Ik ben best geinteresseerd, maar het is moeilijk om de systemen op deze manier te benchmarken.

Als iemand een filmpje wilt posten en een aantal tests wil definiëren, kunnen we de systemen objectief vergelijken. Ik ben bijv. best benieuwd hoe mijn iMac G5 zal presteren. Ik stel voor dat er o.a. een test wordt uitgevoerd met HandBrake, gezien die applicatie zo eenvoudig te bedienen is en tevens gratis te gebruiken. Het is ook interessant om tenminste de Xvid codec en de H.264 codec te testen met dezelfde settings onder verschillende systemen.

Een aantal goed gedefinieerde tests met ffmpegX zou ook interessant zijn.

Als iemand een goed filmpje weet om test mee uit te voeren: let op dat er geen copyrights op zit o.i.d. Ik had bijv. het idee om een fragment uit een Jeff Buckley DVD te gebruiken, maar platenmaatschappijen zouden vast niet gelukkig zijn met zo'n actie.

Zo'n filmpje moet ook best verschillende elementen bevatten (snel en traag bewegende beelden, donker en helder, heldere kleuren, etc...)

[ Voor 29% gewijzigd door MacWolf op 13-05-2005 12:26 ]

[Q]

ik wil ook wel mee doen met mijn ibook 800 mhz Zorg voor zo'n filmpje.

[Verwijderd]

Het is ook interessant om tenminste de Xvid codec en de H.264 codec te testen met dezelfde settings onder verschillende systemen.

Je moet uncompressed materiaal gebruiken anders heeft zo'n vergelijking geen zin. Sommige codecs zijn beter in het HERcomprimeren van dvd materiaal dan andere, terwijl je dan misschien onterrecht sommige codecs benadeeld.
Er zijn volgens mij wel wat After Effects test bestanden (worden gebruikt voor CPU benchmarks) die iedereen zou kunnen gebruiken om wat uncompressed video-materiaal te renderen.

Probleem wat je dan krijgt is dat sommige codecs weer beter presteren met door computer gegenereerde beelden (egale kleurvlakken, strakke randen etc), andere zijn gericht op video materiaal (veel kleur, weinig strakke randen). Dus je moet ook een doelstelling hebben, voor welk type beelden wil je een test maken? Met sommige graphics roeleert zelfs GIF89a!

[ Voor 3% gewijzigd door Verwijderd op 13-05-2005 23:20 ]

[botoo]

* botoo bookmarked *

Ik zal proberen of ik aan een rechtenvrij stukje film kan komen, kan een paar dagen duren maar grondig praktijk-benchen (contradictie ) is imho wel iets wat interesant is.

[Wild pigeon]

[little oftopic]
Weet iemand of er op het net (los van apple zelf) al benchmarks zijn van de nieuwe 2ghz G5 iMac ? (liefst mbt video encoding)

[tonyisgaaf]

offtopic:
Even niet gereageerd, kreeg mijn Tiger-DVD'tje binnen, dus er moest ff voor de zekerheid gebackupped worden (geheel overbodig natuurlijk), wat meer tijd in beslag heeft genomen dan het hele installeren zelf.

Ik zie mensen nu praten over een stukje film en dat is natuurlijk hardstikke mooi, maar het voordeel van 'film' is dat ze daar van die lekkere dure camera's gebruiken, gestabiliseerd en de ruis eruit gefilterd. Ik weet nl. van mijn DV geschoten beelden (zeker degene die ik nu wilde encoden voor opslag) dat het trilt, ruist, van matige kwaliteit is en het contrast om te huilen is. Dát is veel moeilijker voor een codec dan een 'mooi' stukkie fillûm.

Áls we dus iets gaan testen, even los van de specificaties van de tests, dan lijkt het mij ook 'fair' om daar een stukje geschoten DV in mee te nemen. Ik heb wat webruimte met 15GB per maand datalimiet, dus een minuutje DV (5min = 1GB) moet wel lukken voor een man of tien. Dan garandeer ik dat het trilt, ruist en van matige kwaliteit is

[MacWolf]

Tony: ik heb sinds kort mijn oude G4 op het web aangesloten. Op dit moment is die machine al te bereiken op adres http://wolf.bounceme.net

Op dit adres kan ik wel wat grotere filmpjes hosten, zolang iedereen niet massaal gaat downloaden. Het adres moet dus niet verspreid worden over het internet, ik denk niet dat Chello dan gelukkig wordt van mijn gebruik van bandbreedte.

1 minuut lijkt me namelijk wat kort om te testen...

[dawuss]

Hosting lijkt me niet zo'n issue. Ik kan ook nog wel wat op mijn surfnet lijntje hosten.

Het vinden van een copyright vrij stukje film lijkt me niet zo heel moeilijk, zeker niet als iemand een DV camera tot zijn beschikking heeft.

Mijn PowerBook 15" (1,67 GHz G4) mag hier ook wel even voor zweten

[Verwijderd]

Ik wil ook wel even mee doen, heb een PB 1.33Ghz en een iMac 1.25Ghz.
heb ook nog wel wat Mac mini's en iBooks tot mijn beschikking.

Zit op een TV reclame een copyright? ik heb nog wel wat TV reclames op DVD
(omdat iedereen die TV reclames kan zien, en dus kan opnemen lijkt me dat geen probleem)
TV reclames zijn NIET zelf opgenomen maar komen van het master bestand. dus geen kwaliteits verlies.

Ik kan wel even ergens een filmpje van maken met mijn DV camera, zeg maar wat je wilt hebben

[ Voor 12% gewijzigd door Verwijderd op 15-05-2005 18:12 ]

[dawuss]

Verwijderd schreef op zondag 15 mei 2005 @ 18:05:
Ik wil ook wel even mee doen, heb een PB 1.33Ghz en een iMac 1.25Ghz.
heb ook nog wel wat Mac mini's en iBooks tot mijn beschikking.

Zit op een TV reclame een copyright? ik heb nog wel wat TV reclames op DVD
(omdat iedereen die TV reclames kan zien, en dus kan opnemen lijkt me dat geen probleem)
TV reclames zijn NIET zelf opgenomen maar komen van het master bestand. dus geen kwaliteits verlies.

Ik kan wel even ergens een filmpje van maken met mijn DV camera, zeg maar wat je wilt hebben

Over het algemeen mag je daar niet zo maar gebruik van maken nee

Aangezien TV reclames over het algemeen toch wel tot doel hebben veel mensen bereiken, kun je wel even een mailtje sturen naar de maker van een (geschikte) TV reclame of je deze reclame hier voor mag gebruiken. Met het argument dat dan honderden nerds het te zien krijgen, moet je toch wel een eind komen gok ik

[Verwijderd]

dawuss schreef op zondag 15 mei 2005 @ 18:31:
[...]

Over het algemeen mag je daar niet zo maar gebruik van maken nee

Aangezien TV reclames over het algemeen toch wel tot doel hebben veel mensen bereiken, kun je wel even een mailtje sturen naar de maker van een (geschikte) TV reclame of je deze reclame hier voor mag gebruiken. Met het argument dat dan honderden nerds het te zien krijgen, moet je toch wel een eind komen gok ik

De reclames die ik heb zijn van het Bose 3-2-1 systeem, vast wel bekend is zowat in elk reclame blok te zien.
Als dat iets is kan ik dinsdag wel even contact met ze op nemen.

[MacWolf]

Verwijderd schreef op zondag 15 mei 2005 @ 18:35:
[...]


De reclames die ik heb zijn van het Bose 3-2-1 systeem, vast wel bekend is zowat in elk reclame blok te zien.
Als dat iets is kan ik dinsdag wel even contact met ze op nemen.

Probeer wel een schriftelijke goedkeuring te krijgen dan. Als je zo'n filmpje ongecomprimeerd kan krijgen is dat wel mooi testmateriaal...

[Verwijderd]

Ik ga het dinsdag even proberen, jullie horen het nog wel.
Ondertussen zoek ik even verder naar geschikt materiaal.

Maar een DV filmpje zou ook al voldoen?

[tonyisgaaf]

Meerdere dingen zijn mooi:
- DVD is al gecomprimeerd met MPEG2, waarschijnlijk materiaal zonder ruis en met stabiele cameravoering, is progressive of interlaced, verhouding 4:3, 16:9 of misschien wel 2,35:1.
- DV is natuurlijk ook al gecomprimeerd, met de DV-codec, maar dan zonder I, B en P-frames en moet sowieso nog deinterlaced worden voor gebruik. Relatief veel ruis, matige stabiliteit en veel beweging (de huis, tuin en keuken video's). Wel altijd (PAL) 720x576.
- Ongecomprimeerd materiaal (!), als we dat al met één bronbestand kunnen doen (iemand een Gbit upload?) is hoogstwaarschijnlijk nog onbewerkt, maar ik betwijfel wat dat gaat testen: de snelheid van de harde schijf of encoding snelheid van de processor.

Wat gaat er getest worden?
- Kwaliteit (overall, snelle beelden, rustige beelden, smoothing/detailbehoud, frame voor frame of terwijl hij afspeelt?)
- Snelheid (fps?)
- Kwaliteit vs. Snelheid

En wat is het doel?
- Platform onafhankelijk doelbestand (MP4, H.264, DivX, Xvid, ogg, Sorenson.mov?)
- Backup voor jezelf?
- Afspelen op PC of op standalone (DVD, DivX, etc.)?

Met welke software?
- iMovie
- iDVD
- Final Cut (Express, Pro)
- Quicktime Pro
- ffMpegX
- Squeeze
- Roxio Toast (SVCD, VCD)
- ...?

We kunnen niet alles testen, want testen kost tijd. Voor de lullige paar testjes van de startpost heb ik al een uur of drie nodig gehad (ook lopen klooien met instellingen). Daarnaast kunnen we wel testen met software waarvoor we geen licentie hebben (zoals bijvoorbeeld Squeeze, kan me niet voorstellen dat iemand deze legaal heeft), maar kunnen we daar dan wel wat over zeggen in dit forum?

[botoo]

En om e.e.a. vooral niet te eenvoudig te maken moeten we ook kijken naar welke codecs gebruikt gaan worden.
Voorbeeld: afaik zijn de default FCP codecs vooral gericht op NTSC en hebben een minder resultaat bij PAL, Bitvice en Popwire's Compression Master 3 staan een stuk beter bekend (niet uit mijn eigen ervaring maar gehoord van mensen die er wel in thuis zijn).

Wmb houden we het, om het overzichtelijk te houden, vooralsnog wel Mac-only.

[chem]

Met m'n dual G5 1.8 wil ik ook wel meespelen

Bij ons zit nl.tv in het pand; die schieten ook met DV en kan ik ook wel wat materiaal van verkrijgen. Torrentje opzetten en verspreiden maar

Is dat een plan?

Verder is de vraag hoe het materiaal beoordeeld gaat worden; alles naar 1 plek en door 1 persoon (of meerdere) beoordeeld?

[Q]

Dat bittorrent is wel een idee voor de verspreiding.

[oscarvdb]

Ook ik wil wel mee doen met mijn iMac G5 1.6GHz.

[leon1e]

Ik kan ook mee testen dual g5/2000 of een dual g5/1800, en een ibook 1200Mhz.

[Wouter Tinus]

(iemand een Gbit upload?)

Dit klinkt op zich als een interessant project om ook op de FP aandacht aan te besteden, als nieuws of feature bijvoorbeeld. Er moeten dan natuurlijk wel genoeg zinnige resultaten uitkomen, maar ik denk niet dat er bezwaar tegen is om files.tweakers.net te gebruiken om het bronmateriaal te verspreiden.

[ Voor 8% gewijzigd door Wouter Tinus op 17-05-2005 13:34 ]

[bastichelaar]

* bastichelaar meld zich ook aan.

Ik heb de beschikking over een Powerbook 1.5 Ghz, en ben wel benieuwd!

[badeendjuh]

Ik wil hier opzich ook wel aan meedoen met een PB 1.33
Maar ik ben eigenlijk niet zo benieuwd naar de render tijden. De codec/kwaliteit/sneldheid combinatie echter vind ik wel weer reuze interesant!

[ Voor 6% gewijzigd door badeendjuh op 18-05-2005 08:42 ]

[Verwijderd]

Levertijd is een weekje of 3 maar zodra ie binnen is kan ik ook meedoen met de dual 2.7Ghz. Bij deze vast aangemeld dus

[tonyisgaaf]

Wouter Tinus schreef op dinsdag 17 mei 2005 @ 13:34:
Dit klinkt op zich als een interessant project om ook op de FP aandacht aan te besteden, als nieuws of feature bijvoorbeeld. Er moeten dan natuurlijk wel genoeg zinnige resultaten uitkomen, maar ik denk niet dat er bezwaar tegen is om files.tweakers.net te gebruiken om het bronmateriaal te verspreiden.

badeendjuh schreef op woensdag 18 mei 2005 @ 08:41:
[...]Maar ik ben eigenlijk niet zo benieuwd naar de render tijden. De codec/kwaliteit/sneldheid combinatie echter vind ik wel weer reuze interesant!

Voor de FP lijkt me (<=mening) niet zo interessant dat de Dual G5 2.7 sneller is dan de G4 800MHz, want dat wisten we allemaal al. Interessanter lijkt mij wat een 'werkbare' codec is voor verschillende processoren. Dat wil zeggen, een optimale kwaliteit/snelheid verhouding.

1. Dus doel:
2. backup voor persoonlijk gebruik.
3. welke snelheid kan ik verwachten met codec X op xBook, xMac?
4. advies uitbrengen over te gebruiken codec (freeware, shareware, buyware) en bijbehorende instellingen op systeem X

Ik zie hier nl. regelmatig iemand roepen als advies: ja, op de Mac mini kun je ook videobewerken. Wat mij betreft is dat BS, als het gaat om vaker dan eens per maand en dan druk ik me wat mij betreft nog zachtjes uit.