Luistertest van lossy formaten ** Test staat online **

quote:

zimbab schreef op maandag 14 februari 2005 @ 22:02:
Beide vind ik opnametechisch niet echt wat eigenlijk......met een nummer als Quiet verlies je bovendien de details in de brei om het zo maar eens te zeggen.....is nogal een druk nummer.

Een "brei" is juist "ideaal" voor MP3 eigenlijk . Maar dat moeten in het orgineel de details toch nog wel hoorbaar zijn. Weet niet of dat bij dit nummer zo is. Zoniet, dan is het idd niet geschikt.

Van hotel california (van hell freezes) over heb ik wel een wav

Ach ja...misschien is ie toch ook wel geschikt...Quiet bedoel ik dan.

Morcheeba heeft ook wel een mooie.....of Candy Dulfer live of Erykah Badu live......of Eric Clapton unplugged.

zimbab wijzigde dit bericht 14-02-2005 22:20 (60%)

quote:

zimbab schreef op maandag 14 februari 2005 @ 22:15:
Ach ja...misschien is ie toch ook wel geschikt...Quiet bedoel ik dan.

Morcheeba heeft ook wel een mooie.....of Candy Dulfer live of Erykah Badu live......of Eric Clapton unplugged.

clapton unplugged is ook erg goed, cd heb ik ook erg veel gedraait nmlk..

CD: Hell freezes over
Artiest: The Eagles
Track: 6
Naam: Hotel California
Uitgave: november 1994


Clapton unplugged is ook erg geschikt. Wat dachten jullie van Ozric Tentacles. De cd Jurrasic Shift heeft een aantal mooi opgenomen tracks. Beetje fusion neo-prog. Errug luisterbaar wat mij betreft.

Walter.PPK wijzigde dit bericht 14-02-2005 22:32 (54%)

Nog even over Quiet. Het is toch voornamelijk luid, niet heel dynamisch. Vergelijkje Quiet met "Stimela" van Hugh Masekela:

Quiet:



Stimela:



Maar het is moeilijk om in te zien welke nummers goed zijn om MP3's e.d. op te beoordelen. Het kan best zijn dat Quiet het verschil toch duidelijker naar boven brengt.

Waarom hakken we de test niet in drie stukken ofzo? Het hoeft toch niet allemaal snel snel te gebeuren? Als we dat doen kunnen we wat meer muziek aan bod laten komen en wordt de uitslag in principe betrouwbaarder. Tussendoor kunnen we wel een tussenstand opnemen uiteraard.

zimbab wijzigde dit bericht 14-02-2005 22:38 (28%)

Rock is zoiezo worsten muziek want de mixes gaan vaak door eindcompressie waarbij dynamiek wordt vernietigd. Mooi voorbeeld overigens Zimbab maar misschien is het toch leuk om een mix te hebben. Misschien heeft er iemand muziek van het mobile fidelity lab? Lijkt me ook erg geschikt.

Walter.PPK wijzigde dit bericht 14-02-2005 22:36 (47%)

Mee eens

Ondertussen heeft Wolfshade een link ontvangen naar een flac van een rip van track 12 van Amused to Death gekregen per email (nadat ik eerst track 13 had gestuurd ).

Ziet er zo uit btw:



Tja, rippen met linux gaat gewoon ideaal de met cdparanoia ook nog een super kwali

voodooless wijzigde dit bericht 14-02-2005 22:39 (34%)

So dat gaat rap. Ik kan alleen maar helpen met uitkiezen want mijn laptop en muziek rippen dat gaat niet goed samen.

quote:

zimbab schreef op maandag 14 februari 2005 @ 22:31:
Waarom hakken we de test niet in drie stukken ofzo? Het hoeft toch niet allemaal snel snel te gebeuren? Als we dat doen kunnen we wat meer muziek aan bod laten komen en wordt de uitslag in principe betrouwbaarder. Tussendoor kunnen we wel een tussenstand opnemen uiteraard.

Ik ben altijd zo bang dat mensen mijn edit niet lezen. Nu mist de edit eigenlijk z'n functie ook wel als ik toch weer een nieuwe post maak, maar ik vind deze toch wel even belangrijk.

Ik heb het gelezen. Wat stel je voor?

Nou gewoon.....een setje nummers samestellen waar men bijvoorbeeld twee weken over mag doen om de resultaten in te leveren. Dan nog een setje waar men weer twee weken (of wat dan ook) over mag doen en dan nog een laatste setje. Hoeft niet precies zo uiteraard, maar zo'n soort constructie. Meer muziek, meer variatie, meer resultaten, maar mensen wel de tijd geven om het uit te voeren.

We kunnen dus discussiëren over de hoeveelheid setjes, de hoeveelheid nummers per setje en de tijd die we krijgen....dit zijn dan de variabelen.

Ik zal trouwens eens kijken of ik mijn collega warm kan krijgen hiervoor. Kan ik bij hem luisteren op zijn set van zo'n 30.000 euro. Ook goede test voor hem.

zimbab wijzigde dit bericht 14-02-2005 22:52 (33%)

Meerder setjes is altijd leuk. Ook een tijdslimiet lijkt me wel erg handig, anders wordt het toch een zooi. Voor de timeout is verstereken mag dan ook niemand resultaten openbaar maken, om de resultaten van anderen niet te beinvloeden.

CD: 2 meter sessies volume 3
Nummer 17
Artist: BB queen en Jan Akkerman
Naam: Next to you

Zeer goed opgenomen. Zeer duidelijk stem en goede dynamiek. Wat jan Akkerman aan laag uit zijn gitaar kan halen, is al een opgave voor veel installaties. Zou erg benieuwd zijn wat er na MP3 van overblijft.

Wil je dan de setjes indelen op genre? Ik denk dat als je 3 nummers per set neemt je wel genoeg hebt aan 4 genres. 12 nummers x 4 is toch weer eventjes luisteren.

Lichte rock (Amused to death, The Eagles, Eric Clapton)
Hardrock (Quiet- Smashing Pumpkins)
Klassiek (Tchaikovski, Mahler, Brahms?)
Jazz (ben ik niet in thuis. Enigste jazz wat ik bezit is wat fusionjazz van dave weckle)

Dat nieuwe album van Pain of Salvation - Be, is bv ook erg goed opgenomen.

Walter.PPK wijzigde dit bericht 14-02-2005 23:02 (14%)

quote:

deepspace schreef op maandag 14 februari 2005 @ 22:56:
Meerder setjes is altijd leuk. Ook een tijdslimiet lijkt me wel erg handig, anders wordt het toch een zooi. Voor de timeout is verstereken mag dan ook niemand resultaten openbaar maken, om de resultaten van anderen niet te beinvloeden.

Oh ja....nog even terugkomend op jouw voorstel om de originele versies ook mee te sturen als referentie.....dit lijkt me essentieel. Het geheel van rips en het origineel dan in een image waarvan wij de volgorde niet weten én een los bestand waar we van weten dat het het origineel is. Dán pas kunnen we goed beoordelen welk nummer het origineel is en welke een rip is. Als we het origineel (de referentie dus) niet kennen kunnen we hooguit zeggen welke nummers van elkaar verschillen. Dit uitgaande van het feit dat we ook muziek krijgen die we zelf niet in de collectie hebben en dus weinig ervaring mee hebben.

quote:

Walter.PPK schreef op maandag 14 februari 2005 @ 22:59:
Wil je dan de setjes indelen op genre? Ik denk dat als je 3 nummers per set neemt je wel genoeg hebt aan 4 genres. 12 nummers x 4 is toch weer eventjes luisteren.

Lichte rock (Amused to death, The Eagles, Eric Clapton)
Hardrock (Quiet- Smashing Pumpkins)
Klassiek (Tchaikovski, Mahler, Brahms?)
Jazz (ben ik niet in thuis. Enigste jazz wat ik bezit is wat fusionjazz van dave weckle)

Dat nieuwe album van Pain of Salvation - Be, is bv ook erg goed opgenomen.

Kan ja....hoe we het doen maakt me niet zoveel uit, maar om aan 4 nummers een conclusie te binden lijkt me gewoon niet echt wat....en dit is een mooie manier om het lekker rustig aan te doen en verschilende genres aan bod te laten komen inderdaad. Ik ben er trouwens niet voor om ons strikt aan genres te binden.....dat beperkt weer zo. Gewoon een paar setjes met nummers waar we het eens over kunnen worden......of misschien iedereen één nummer kiezen ofzo (afhankelijk van het aantal deelnemers).

zimbab wijzigde dit bericht 14-02-2005 23:07 (39%)

Ik bedoelde het een beetje anders, maar jou gedachte is beter

voodooless wijzigde dit bericht 14-02-2005 23:08 (11%)

Ook even mijn mening geven:

- ik zou toch kiezen voor LAME. Ogg is natuurlijk een prima formaat en niet essentieel anders dan LAME, maar ik zou toch pragmatisch zijn en kiezen voor LAME omdat dat de standaard is, veel mensen LAME waarschijnlijk ook zullen prefereren, en je test dan meer geaccepteerd zal worden (en een goed uitgevoerde mp3 test krijgt echt veel aandacht!).

- ik zou zeker werken met een orgineel als referentie. Het blijft een minder dan ideale manier om bitrates te benoemen. Ik ben meer van een ABX-type methode, omdat je dan wel een eenduidige uitslag krijgt. Je zou het bijvoorbeeld zo kunnen doen:

track 1: orgineel
track 2: orgineel of 128kbit
track 3: orgineel of 128kbit
track 4: orgineel of 160kbit
track 5: orgineel of 160kbit
track 6: orgineel of 192kbit
track 6: orgineel of 192kbit

Als je dan 5 tracks hebt, is de kans dat iemand dan bijvoorbeeld alle 128-ers goedgokt 3% en bij 10 tracks nog 0.01%.
Als de compressie van een bepaalde bitrate niet hoorbaar is, dan zie je dat 50% goed benoemd wordt. Als het wel hoorbaar is, heeft iemand gewoon alles goed of hooguit 1 fout van de 10. Je kan dan vantevoren de criteria bepalen hoeveel procent goed moet zijn voordat je kan claimen dat je het verschil hoorde.
Als je bitrates moet benoemen wordt het allemaal wat onduidelijker. En krijg je achteraf een hoop geemmer over de uitslag, dat kan je voorkomen.

- ik en JvS hebben lang nagedacht om een tweede mp3 test op te zetten (ik had de eerste gedaan ooit lang geleden). Maar het is niet heel makkelijk. Ik denk dat het misschien wel de moeite waard is om het echt groot aan te pakken. Op mijn eerste mp3 test kreeg ik echt onverwacht veel respons, ook jaren later nog. Ik denk dat er wel wat te regelen valt met tweakers.net om de hosting te doen en dan evt ook met een bericht met link naar de test op de frontpage.
Ook wilden wij de test koppelen aan userid op tweakers.net, waarbij je op userid een gerandomiseerd setje wav's krijgt (of evt flac om bandbreedte te beperken). En dat je op dezelfde pagina de resultaten kan indienen waarbij je ook de resultaten krijgt te zien. Zo voorkom je fraude (iemand die de uitslagen gaat lekken bijv) en als je het zo aanpakt kan je erop rekenen dat je test echt bekend zal worden en dat er nog vaak naar verwezen zal worden.
En de test kan dan gewoon blijven doorlopen. Dat was jammer aan mijn test, op een gegeven moment waren de resultaten bekend (waren trouwens vrij teleurstellend) en kon je de test dus niet meer doen.

Jag wijzigde dit bericht 14-02-2005 23:40 (5%)

Strak plan Jag. Het interbitrate testen hoef je natuurlijk niet te doen als je per bitrate al kan bepalen of het verschil aantoonbaar is.

Je zou dan een DB moeten hebben met een aantal cathegorieen, waaruit de user steeds een random selectie krijgt (zo vaak als ie maar wil) van iedere cathegie een track. Resultaten kan ie dan zelf terugkoppelen, en dat binnen zijn eigen tijd (dus geen vaste timeout). Uit de database kunnen dan de benodigde satatiskieken geod destileren . Zo kun je voortlopend testen laten uitvoeren en kan iedereen meedoen. DAT zal idd veel aandacht trekken

Mooiste is dan om de admins gewoon de nummers als wav of flac te laten oploaden, en dan ervoor zorgen dat een script de benodigede mp3'jes maakt (en weer naar flac of wav omzet). Zo is alles volgens de zelfde standaard.

Alleen hoe zit het met de copyrights op de nummers? Volgens mij zijn deze niet geldig als het nummer onder een bepaalde lengte is ofzo?

voodooless wijzigde dit bericht 14-02-2005 23:59 (11%)

quote:

Wolfshade schreef op maandag 14 februari 2005 @ 20:20:
[...]
Jij hebt je leeswerk niet gedaan -- Even resumé dan maar, voor de late lezers onder ons..

Ik weet niet in hoeverre jij hier zo snel over kan oordelen. Ik volg dit al sinds dat amp topic begon, maar ik zal mijn punten even uitleggen.

Het probleem bij een luistertest is niet het verkrijgen van de resultaten, het is het geloofwaardig maken van de resultaten. Iedereen moet het er mee eens zijn dat hij een eerlijke kans krijgt om de test te doen, in zijn eigen omstandigheden.
Pas dáárna zullen mensen de resultaten ook accepteren.

Als deelnemer wil je gelijk hebben, en als tester zou je moeten streven naar een eerlijk resultaat. Fraude is dus mogelijk, en die gevallen wil je er uit filtereren. _{mijn FFT van de tracks weet echt wel wat ogg/mp3/whatever is vs origineel}

Overigens zou ik ook 96 kbit mp3 erbij doen, want dat is zéker hoorbaar (voor mij, dat is echt > 95% goed @ koptelefoon via amp)

Mijn punt voor het verspreiden van torrent komt vooral doordat je (wederom voor accepteerbaarheid) een zo groot mogelijke deelnemersgroep wilt hebben. Als jij alles voor de buitenwereld een grote black-box laat zijn, kan je élk testresultaat krijgen dat je wilt.
én dát is weer niet nuttig.

_{in principe wil je dus de resultaten ook open hebben. Het punt zal dan alleen worden dat er niemand het resultaat maakt, en de test dus geen zin heeft}

Probleem: wat als mensen digitaal ontdekken wat wav en wat mp3 is (zoals ANdrode aangeeft)? Je kunt dat gewoon niet tegengaan

Tenzij je via een java applet ofzo gaat afspelen, maar ik weet zeker dat mensen (ook ik) daar niet blij mee zullen zijn.

voodooless wijzigde dit bericht 15-02-2005 00:05 (34%)

quote:

Jag schreef op maandag 14 februari 2005 @ 23:38:
Ook even mijn mening geven:

- ik zou toch kiezen voor LAME. Ogg is natuurlijk een prima formaat en niet essentieel anders dan LAME, maar ik zou toch pragmatisch zijn en kiezen voor LAME omdat dat de standaard is, veel mensen LAME waarschijnlijk ook zullen prefereren, en je test dan meer geaccepteerd zal worden (en een goed uitgevoerde mp3 test krijgt echt veel aandacht!).

- ik zou zeker werken met een orgineel als referentie. Het blijft een minder dan ideale manier om bitrates te benoemen. Ik ben meer van een ABX-type methode, omdat je dan wel een eenduidige uitslag krijgt. Je zou het bijvoorbeeld zo kunnen doen:

track 1: orgineel
track 2: orgineel of 128kbit
track 3: orgineel of 128kbit
track 4: orgineel of 160kbit
track 5: orgineel of 160kbit
track 6: orgineel of 192kbit
track 6: orgineel of 192kbit

Als je dan 5 tracks hebt, is de kans dat iemand dan bijvoorbeeld alle 128-ers goedgokt 3% en bij 10 tracks nog 0.01%.
Als de compressie van een bepaalde bitrate niet hoorbaar is, dan zie je dat 50% goed benoemd wordt. Als het wel hoorbaar is, heeft iemand gewoon alles goed of hooguit 1 fout van de 10. Je kan dan vantevoren de criteria bepalen hoeveel procent goed moet zijn voordat je kan claimen dat je het verschil hoorde.
Als je bitrates moet benoemen wordt het allemaal wat onduidelijker. En krijg je achteraf een hoop geemmer over de uitslag, dat kan je voorkomen.

- ik en JvS hebben lang nagedacht om een tweede mp3 test op te zetten (ik had de eerste gedaan ooit lang geleden). Maar het is niet heel makkelijk. Ik denk dat het misschien wel de moeite waard is om het echt groot aan te pakken. Op mijn eerste mp3 test kreeg ik echt onverwacht veel respons, ook jaren later nog. Ik denk dat er wel wat te regelen valt met tweakers.net om de hosting te doen en dan evt ook met een bericht met link naar de test op de frontpage.
Ook wilden wij de test koppelen aan userid op tweakers.net, waarbij je op userid een gerandomiseerd setje wav's krijgt (of evt flac om bandbreedte te beperken). En dat je op dezelfde pagina de resultaten kan indienen waarbij je ook de resultaten krijgt te zien. Zo voorkom je fraude (iemand die de uitslagen gaat lekken bijv) en als je het zo aanpakt kan je erop rekenen dat je test echt bekend zal worden en dat er nog vaak naar verwezen zal worden.
En de test kan dan gewoon blijven doorlopen. Dat was jammer aan mijn test, op een gegeven moment waren de resultaten bekend (waren trouwens vrij teleurstellend) en kon je de test dus niet meer doen.

Ten eerste....die grootse opzet is natuurlijk een fantastisch idee! Ten tweede....ik ben sowieso ook voor Lame....dát is immers de "mythe": >160Kbps MP3 is niet te onderscheiden van origineel. Als je met Ogg aan komt zetten zullen veel mensen geen boodschap aan de test hebben.
Ten derde....ik snap dit stukje nog niet helemaal:

quote:

- ik zou zeker werken met een orgineel als referentie. Het blijft een minder dan ideale manier om bitrates te benoemen. Ik ben meer van een ABX-type methode, omdat je dan wel een eenduidige uitslag krijgt. Je zou het bijvoorbeeld zo kunnen doen:

track 1: orgineel
track 2: orgineel of 128kbit
track 3: orgineel of 128kbit
track 4: orgineel of 160kbit
track 5: orgineel of 160kbit
track 6: orgineel of 192kbit
track 6: orgineel of 192kbit

Can you explain it to me like I'm a five year old?

Oh wacht....het is wel telkens hetzelfde nummer. Ik dacht dat je nu 7 verschillende nummers had. Ik ga maar eens slapen.......

quote:

deepspace schreef op dinsdag 15 februari 2005 @ 00:02:
Probleem: wat als mensen digitaal ontdekken wat wav en wat mp3 is (zoals ANdrode aangeeft)? Je kunt dat gewoon niet tegengaan

Tenzij je via een java applet ofzo gaat afspelen, maar ik weet zeker dat mensen (ook ik) daar niet blij mee zullen zijn.

Alles op LP laten snijden en opsturen naar de deelnemers!

zimbab wijzigde dit bericht 15-02-2005 00:08 (10%)

Erg interessant topic.

Als vaste bezoeker van de HydrogenAudio community heb ik alles met meer dan gemiddelde aandacht gelezen. Immers alleen door dubbelblinde luistertesten kan objectief de kwaliteit van een bepaalde lossy codec worden vastgesteld.
Volgens mij is deze draad echter een beetje ontspoort (no offence), iedereen roept maar wat door elkaar heen en er komen telkens weer suggesties voor nummers die op de lijst zouden moeten.

Om enige struktuur aan te brengen zal er als eerste een doelstelling, vraagstelling of hypothese geformuleerd moeten moeten worden. Dit zou bijvoorbeeld kunnen zijn:

-Codec X is bij bitrate Y niet te onderscheiden van het origineel
-Codec X klinkt bij bitrate Y beter dan codec Z.

Er moet een keuze worden gemaakt voor codecs en specifieke instellingen. Waarom trouwens geen lame-vbr settings ?
Vervolgens moeten er samples worden samengesteld. Hoe enthousiast velen hier ook zijn, geloof me, hele tracks gaat niet werken. Afwisselend geconcentreerd luisteren naar twee samples lukt maar tot ca. 10 seconde. Korte samples dus, liefst zodanig gekozen dat eventuele codec artefacten blootgelegd worden. Bovendien kom je met hele tracks ernstig in de knoei met de 'copyright-politie' , tenzij je uitsluitend non-copyrighted muziek gebruikt (ja die bestaat ook) .
Vervolgens de statistische verwerking. Om een gefundeerde uitspraak te doen moet je voldoende vaak testen, volgens ofwel ABX ofwel ABCHR. Zodanig dat je met een van te voren gekozen zekerheid een uitspraak over het wel of niet onderscheidbaar zijn van de samples kan doen.
Hier moet ook een definitieve keuze gemaakt worden wat voor soort test je gaat doen.
Immers ABX levert een resultaat in de geest van : de luisteraars konden met 99.5% zekerheid sample A onderscheiden van sample B, meer niet.
ABChr geeft een ranking, luisteraars delen een willekeurige sampleset (bijv 5 stuks) in naar rato van geluidskwaliteit 1 is ondraaglijk, 5 is perfect.
Voorbeelden van (in mijn ogen) degelijke luistertest vind je op Roberto's en ff123's sites. Die grafiekjes volgen dus uit een abchr test, deze is mp3 encoders @ 128 kbps:


Over de geloofwaardigheid van de resultaten kan ik kort zijn: Je kunt alleen maar vertrouwen op de eerlijkheid van de deelnemers. Immers elke mp3-codec ontmasker je met een spectral view in een wav-editor. Bovendien bestaat er nog geavanceerdere software, zoals Tau analyser dat zo ongeveer elke lossy codec identificeert.

Voor mensen die alvast willen trainen in luistertests en het horen van artefacten , zie ff123's artefact training pages. Daar vind je o.a. de beruchte samples zoals castanets, die na enige oefening zelfs op lame --insane (maximaal getweakte 320 kbps setting) van het origineel kan worden onderscheiden.

Henk007 wijzigde dit bericht 15-02-2005 13:06 (48%)

quote:

Henk007 schreef op dinsdag 15 februari 2005 @ 00:15:
Erg interessant topic.

Als vaste bezoeker van de HydrogenAudio community heb ik alles met meer dan gemiddelde aandacht gelezen. Immers alleen door dubbelblinde luistertesten kan objectief de kwaliteit van een bepaalde lossy codec worden vastgesteld.
Volgens mij is deze draad echter een beetje ontspoort (no offence), iedereen roept maar wat door elkaar heen en er komen telkens weer suggesties voor nummers die op de lijst zouden moeten.

Ten eerst is het nog allemaal een brainstorm, dus het is juist de bedoelingom zoveel mogelijk ideeen te verzamelen en erover te discussieren.

Ten tweede doe jij net zo hard mee :

quote:

Om eneige struktuur aan te brengen ... .... elke lossy codec identificeert.
[Morgen nog wat aanvullingen, nu geen tijd meer helaas]

No prob thought

mm, een ding snap ik niet helemaal, een slechte encoder wordt steeds vermeden (dus iets anders dan LAME), maar die moet er toch ook gewoon tussen zitten?? Het gaat om een test.... dus eigenlijk moet alles erbij dan.

(of denk ik nu fftjes helemaal verkeerd)


owjha, en over dat mensen frauderen is alleen maar raar, je gaan een test doen om verschil te kunnen ontdekken met je gehoor. Wat heb je er dan in hemelsnaam aan om te frauderen??? Daarvoor doe je de test ook niet.
De test heeft dus meerdere doelen vind ik.

B_FORCE wijzigde dit bericht 15-02-2005 00:39 (35%)