Luistertest van lossy formaten ** Test staat online **

Wilden we het niet overzichtelijk houden

quote:

B_FORCE schreef op dinsdag 15 februari 2005 @ 00:35:
mm, een ding snap ik niet helemaal, een slechte encoder wordt steeds vermeden (dus iets anders dan LAME), maar die moet er toch ook gewoon tussen zitten?? Het gaat om een test.... dus eigenlijk moet alles erbij dan.

(of denk ik nu fftjes helemaal verkeerd)

Dat hangt er vanaf wat de doelstelling van de test is...

quote:

Henk007 schreef op dinsdag 15 februari 2005 @ 00:38:
[...]


Dat hangt er vanaf wat de doelstelling van de test is...

mjah, voor mij gewoon kijken wat de verschillen zijn en of ze hoorbaar zijn.
En of je ze dus kan benoemen, dit wordt dus moelijker als je er meerdere bij doet van andere encoders.

Bij een test concentreer je je meestal op een klein stukje. Als je altijd alles in je test zou meenemen dan zouden de testen zeer tijdrovend, onoverzichtelijk, moeilijk te verwerken etc. zijn. Dit geldt ook in de echte wetenschap....het idee achter een laboratoriumtest is vaak dat je een aantal variabelen constant kan houden zodat je invloed daarvan beperkt of idealiter uitsluit.....dan is het makkelijker om oordelen te vellen over je onderzoeksveld. Daarna kan je aanvullende onderzoeken doen en misschien later alles bij elkaar gooien in een grote test.

quote:

B_FORCE schreef op dinsdag 15 februari 2005 @ 00:40:
[...]

mjah, voor mij gewoon kijken wat de verschillen zijn en of ze hoorbaar zijn.

Je bent niet specifiek. Je moet zoals Henk007 eerder al zei een specifieke doelstelling/probleemstelling hebben.

zimbab wijzigde dit bericht 15-02-2005 00:43 (22%)

(vergelijking vind ik enigsinds beetje raar,maargoed begrijp wat je bedoeld)

Maar we onderzoeken dus verschil in bitrate van mp3 (of de kwaliteit ervan) en het origineel. Dan vraag ik me gelijk af, waarom gelijk weer LAME ?
Zijn we bang dat we slechter dan LAME niet horen ? zo komt het een beetje over
(zo bedoel ik het niet precies hoor ) snap je me een beetje.

Anders gezegd er wordt dus gelijk het beste van het beste weer uitgekozen. Waarvan ik denk Laten we die andere ook meenemen en eens joren wat daat werkelijk de verschillen zijn.
Dan nemen we bv ook iets minder verschillende soorten bitrates mee .

Dit vindt ik een zeer leuk idee.

mocht men nog wat suggesties nodig hebben voor klassieke stukken dan wil ik wel enkele wavs beschikbaar stellen. Van hele drukke fragmenten tot zeer rustige. Eventueel heb ik ook nog enkele soundtracks waar aardige stukken op staan. De cd's van LOTR zijn bijvoorbeeld zeer goed opgenomen en met veel dynamiek.

Ik ben het overigens niet eens met Henk007 wat betreft de korte stukjes. Gewoon volledige nummers, alles weer terug zetten naar wav en vervolgens iso of ander image formaat branden.

Wacht met spanning op de test.

ps: ik heb toevallig ook nog een sampler cd van Naim liggen, staan ook hele leuke testnummers op.

quote:

B_FORCE schreef op dinsdag 15 februari 2005 @ 00:47:
Anders gezegd er wordt dus gelijk het beste van het beste weer uitgekozen. Waarvan ik denk Laten we die andere ook meenemen en eens joren wat daat werkelijk de verschillen zijn.
Dan nemen we bv ook iets minder verschillende soorten bitrates mee .

Het doel is om te bepalen of en zoja hoeveel mensen het verschil kunnen horen tussen uncompressed en de verschillende compressiepercentages van MP3. Niet om het verschil in encoders te beluisteren.

En Lame is dé standaard, dus neem je natuurlijk Lame

* eamelink gaat zeker meedoen, dan leent hij de e2c's van z'n broertje wel weer even .

Ik ben benieuwd of ik de 128 kbit eruit weet te pikken, van de 192+ ben ik bij voorbaat al kansloos denk ik

PS, wie rekent er uit wanneer een uitkomst significant is?

quote:

Henk007 schreef op dinsdag 15 februari 2005 @ 00:15:
Erg interessant topic.

Als je mijn reactie leest, zul je zien dat ik toch wel over een aantal punten die je noemt mijn mening heb gegeven.

Ik zou kiezen voor CBR 128, 160 en 192kbit LAME. Afhankelijk van de opzet van de test kan je nog meer doen (zoals VBR en andere codecs als Ogg Vorbis). Als je met een pagina ipv een ISO rondsturen en dikke hosting kan je je wat meer permiteren, anders wordt het echt "too much". Zeker omdat je idd gewoon veel nummers moet hebben om statistisch relevante resultaten te krijgen.
Verder is dat valsspelen idd echt een groot probleem en ik denk eigenlijk niet te voorkomen. Je zou met met Java applets kunnen werken idd, maar dat wordt niet geaccepteerd en terecht. Je zou evt wel bovenin aan de test pagina kunnen vermelden dat je een dikke loser bent als je probeert vals te spelen .
Ik zou overigens ook voor korte samples kiezen (10-15s ofzo). Geheugen voor subtiliteiten in geluid is maar kort en het scheelt nog eens bandbreedte ook.

En sja, ik ben niet zo'n voorstander van rating systemen, ontstaat onduidelijkheid over. Ik zou kiezen voor zoveel mogelijk een ABX setup, dat geeft een uitslag waar je gewoon niet omheen kan.

quote:

Alleen hoe zit het met de copyrights op de nummers? Volgens mij zijn deze niet geldig als het nummer onder een bepaalde lengte is ofzo?

Ja, daar noem je een heel goed punt. Grote test (dat is een test op GoT ook al) trekt veel aandacht -> ik denk niet dat t.net daarop zit te wachten. Misschien een optie om vantevoren met stichting Brein dat te overleggen.

quote:

Het probleem bij een luistertest is niet het verkrijgen van de resultaten, het is het geloofwaardig maken van de resultaten. Iedereen moet het er mee eens zijn dat hij een eerlijke kans krijgt om de test te doen, in zijn eigen omstandigheden.
Pas dáárna zullen mensen de resultaten ook accepteren.

Helemaal mee eens. Ik denk dan ook dat het nodig is vantevoren de terms te bepalen en de test zo op te zetten dat je duidelijke resultaten krijgt waar je niet omheen kan. En aan de andere kant rekening te houden met de luisteraars dat ze zonder tijdslimiet en op hun eigen set kunnen luisteren.

quote:

zimbab schreef op maandag 14 februari 2005 @ 22:31:
Nog even over Quiet. Het is toch voornamelijk luid, niet heel dynamisch. Vergelijkje Quiet met "Stimela" van Hugh Masekela:

Ja, mee eens met je punt. Geen muziek als Dream Theater (en ja, ik vind dat wel geniale muziek waar ik graag naar luister) en andere over the top gecompress-te moderne opnames. Daar zit al zoveel ranzigheid in dat de mp3 compressie wel eens moeilijk te onderscheiden kan zijn. Ik zou dan persoonlijk eerder een cleane opname uit de jaren tachtig op begin jaren negentig kiezen.

En dan nog een puntje:
- bij Lame op 128kbit moet je wel uitschakelen dat er een high pass op 16K wordt gezet, dit staat standaard namelijk aan en maakt het gemakkelijk om hem eruit te pikken. Als je hem uitzet al een stuk moeilijker.

quote:

eamelink schreef op dinsdag 15 februari 2005 @ 00:59:
PS, wie rekent er uit wanneer een uitkomst significant is?

Een script op de webserver

Kijk, hosten van de files hoef je natuurlijk niet via je webserver te doen. Als je gewoon torrents uitgeeft naar cryptische filenamen werkt dat ook prima Als de toeloop groot is, zal dat super werken

voodooless wijzigde dit bericht 15-02-2005 01:06 (35%)

mm ,ok (ik wist overigens niet dat LAME standaard was , zo vaak luister ik nou dus mp3 )

Overigens zei ik net ook al (staat net een pagina hier voor ),

Wat heb je er in hemelsnaam aan om de boel te frauderen. Je doet de test toch ook een beetje voor jezelf?
Het is sowieso kinderachtig om te doen...

quote:

B_FORCE schreef op dinsdag 15 februari 2005 @ 01:06:
Wat heb je er in hemelsnaam aan om de boel te frauderen. Je doet de test toch ook een beetje voor jezelf?
Het is sowieso kinderachtig om te doen...

Tja, net zo kinderachtig als om spyware te maken, een virus te maken, een fucking OS en software te maken wat steeds hangt, om systemen te hacken, een "audiofiel" te zijn (lots of fun intended ),enz.. enz... enz...

Ik ben heel erg goedgelovig, maar op internet houdt dat al nel op

voodooless wijzigde dit bericht 15-02-2005 01:10 (5%)

mmm, ok ik snap al iets (ik heb ff over iets heen gelezen zie ik nu, sjorrie)

Het wordt dus groot, en dus GROOOOOOT aangepakt.
Dus niet onder vrienden/gotters etc zelf, maar meer dan dan, begrijp ik het goed zo?

Sja dan wordt het idd irritant

quote:

deepspace schreef op maandag 14 februari 2005 @ 19:30:
Ik weet dat Norah niet bij iedereen goed valt.

De zit hier al 2 weken vast gerot in de cd speler.......... heerlijk cd'tje voor na het werk, onderuit op de bank en nog ff een boekje lezen (op de tijden dat ik klaar ben met werken is er namelijk geen reet meer op TV dus vandaar )

quote:

B_FORCE schreef op dinsdag 15 februari 2005 @ 01:24:
mmm, ok ik snap al iets (ik heb ff over iets heen gelezen zie ik nu, sjorrie)

Het wordt dus groot, en dus GROOOOOOT aangepakt.
Dus niet onder vrienden/gotters etc zelf, maar meer dan dan, begrijp ik het goed zo?

Sja dan wordt het idd irritant

Yep, zet een linkje op slashdot, en he hebt de hele wereld die naar je kijkt (zolang je webserver het volhoudt )

mm, dan het bestandje zetten op een site waar je MOEt inloggen dat weerhoud iig al heel wat mensen om het zomaar te downloaden denk ik.

Over Norah Jones, geweldige muziek/cd's, alleen niet echt goeie test muziek vind ik zelf. Erg 'kale' band nmlk.

As I said, webserver hoeft de files niet te hosten op mijn manier

Maar we moeten ons ook de volgende vraag stellen: wat zijn de criteria voor een goede test track? Ik hoor steeds "goed opname", maar ik denk dat dat lang niet alles is. Een "slechte" opname kan het de mp3 encoder misschien wel makkelijker (of ook moeilijker) maken. Aantal dingen die ik weet (kan er nu ff niet meer verzinne, ben ziek, brak en moe ):
- drukke tracks worden sneller modderig
- ruis is erg moeilijk voor mp3, waardoor details van de rest verloren gaan
- ....

mjah.. volle 'drukke' muziek, is ook vaak lastig is mijn ervaring.
Tevens ook juist weer 'rustige muziek'

voorbeelden, Metallica of Jazz

Nummers met een erg lage (diepe) bas is ook goed vorbeeld.

mmm, ik bedenk me opeens dat juist Dire Straits etc lastig wordt, aangezien dat vrij normale nummers zijn, die meestal wel redelijk doorkomen.
(wat niet betekent dat ze niet in de test meegenomen mogen worden )

Live muziek vind mp3 meestal ook niet fijn (eric clapton ofzo)

quote:

deepspace schreef op dinsdag 15 februari 2005 @ 01:38:Maar we moeten ons ook de volgende vraag stellen: wat zijn de criteria voor een goede test track?

Volgens mij kom je daar nooit uit en kan je beter "van alles wat" kiezen. Gewoon een selectie die een beetje representief is voor waar mensen naar luisteren.

quote:

Jag schreef op dinsdag 15 februari 2005 @ 01:49:
[...]
Volgens mij kom je daar nooit uit en kan je beter "van alles wat" kiezen. Gewoon een selectie die een beetje representief is voor waar mensen naar luisteren.

Precies, ons voorheen aangegeven criteruim is dus een beetje onzin

dus zowel rustig als druk, als rock, als jazz, als klassiek als dance als hard als zacht als live als studio.

Wordt erg lastig en uitgebried dan.....je kan wel dus in grove lijnen gaan kiezen maar dan hou je nog redelijk veel over

Ik ben voor om geen "origineel" op de cd te zetten, het is immers een copie.
De luisteraar wil immers het verschil horen tussen het origineel en de formaten.
Dus lijkt me verstandig om een cd te pakken die een ieder kent en heeft, lijkt
mij wel zo eerlijk.
Ik ken mensen die al rillerig worden bij een kopie.

tevens zou het mooi zijn om verschillende muziek stijlen / nummers op een cd te zetten, met hun verschillende bitrates.

ratsja wijzigde dit bericht 15-02-2005 10:26 (19%)

het orgineel moet er wel bij, iedereen moet vergelijken met dezelfde nummers. Anders heb je nog meer spreiding en minder deelnemers. Tevens kan je er dan vanuit gaan dat het volume gelijk is van de verschillende nummers.

quote:

ratsja schreef op dinsdag 15 februari 2005 @ 10:25:
Ik ben voor om geen "origineel" op de cd te zetten, het is immers een copie.

Je hoeft helemaal geen CD te branden. Het is voldoende om de testsamples aan te bieden als lossless (bijv. FLAC) bestanden. Het 'origineel' is overigens identiek aan de originele CD, ondanks wat hier beweert wordt. Mits gekopieerd met een secure ripper (EAC that is) heb je een bit-identieke 44.1kHz/16 bit stereo PCM stream.
Het origineel moet er wel degelijk bij, anders is de test zinloos. Het zou zelfs kunnen dat mensen een bepaalde mp3 'beter' vinden klinken dan het origineel, wat moet je daar dan voor conclusie uit trekken ? Op Engelstalige forums wordt dit wel 'the warm-fuzzy feeling' genoemd, met een knipoog naar HiFi puristen.

quote:

Tevens kan je er dan vanuit gaan dat het volume gelijk is van de verschillende nummers.

Om de test eerlijk te maken moeten alle samples in volume gelijk worden gemaakt met WaveGain. Overigens past de in Foobar2000 ingebouwde ABX module automatisch replaygain toe voordat de test gestart wordt.
Behalve gelijk volume is het raadzaam om de samples aan het begin en aan het einde te padden met 0.5 s digital silence, om eventuele randeffecten van de encoders te vermijden.

Henk007 wijzigde dit bericht 15-02-2005 10:40 (30%)

quote:

Henk007 schreef op dinsdag 15 februari 2005 @ 10:34:
[...]

Je hoeft helemaal geen CD te branden. Het is voldoende om de testsamples aan te bieden als lossless (bijv. FLAC) bestanden. Het 'origineel' is overigens identiek aan de originele CD, ondanks wat hier beweert wordt. Mits gekopieerd met een secure ripper (EAC that is) heb je een bit-identieke 44.1kHz/16 bit stereo PCM stream.
Het origineel moet er wel degelijk bij, anders is de test zinloos. Het zou zelfs kunnen dat mensen een bepaalde mp3 'beter' vinden klinken dan het origineel, wat moet je daar dan voor conclusie uit trekken ? Op Engelstalige forums wordt dit wel 'the warm-fuzzy feeling' genoemd, met een knipoog naar HiFi puristen.


[...]

Om de test eerlijk te maken moeten alle samples in volume gelijk worden gemaakt met WaveGain. Overigens past de in Foobar2000 ingebouwde ABX module automatisch replaygain toe voordat de test gestart wordt.
Behalve gelijk volume is het raadzaam om de samples aan het begin en aan het einde te padden met 0.5 s digital silence, om eventuele randeffecten van de encoders te vermijden.

Een copy kan niet gelijk zijn aan het origineel, er kunnen volgens mij altijd fouten ontstaan.
En als mensen een mp3 beter vinden klinken zegt dat meer over hun en daarbij kan je ook zeggen:
"zie je wel, ze zijn allebei niet origineel"
Naar mijn mening is de originele cd de maatstaf

Ik kan wel eens kijken of ik hosting kan regelen. Hoeveel bandbreedte zou er nodig zijn voor een dergelijke ABX test met zeg 10 nummers in non lossy formaat met samples van 20 seconden?

Ja het mag duidelijk zijn dat een perfecte kopie hypothetisch 0,000001% afwijkt van het origineel en de perfecte mp3 0,001% dus het is niet significant om te claimen dat het eraan ligt dat ze beiden niet origineel zijn.

Walter.PPK wijzigde dit bericht 15-02-2005 10:49 (39%)