Ja, soms heb je inderdaad tijd nodig. Een installatie die mij op het eerste gezicht redelijk leek, bleek dan na een uurtje extreem vermoeiend.
Niettemin is dit geen specifiek probleem van de dubbelblinde test. Hoewel het uiteraard een tikkeltje lastiger is, is het best mogelijk een dubbelblinde test over meerdere uren tijd uit te voeren.
* Omgeving. Reviewers, mensen met getrainde oren dus, doen hun werk met een installatie en in een ruimte die ze al heel lang kennen. In een onbekende omgeving gaat het sneller mis.
Geen reden waarom je een dubbelblinde test niet in de eigen omgeving zou uitvoeren. Vooral professionele reviewers kunnen best hun bekende ruimte dusdanig inrichten, dat een blinde test ook goed te doen valt.
* De wil om te slagen. Als je met een bepaalde mindset een test ingaat, beïnvloedt dat altijd je resultaten.
Niet in een dubbelblinde test. Het is daarin simpelweg onmogelijk om de resultaten te beinvloeden.
Dit punt is juist de reden waarom je (ook) een dubbelblinde test zou moeten doen, en niet alleen een niet-blinde test. Omdat je met een bepaalde mindset de test in gaat, en je dus extra voorzorgsmaaregelen moet nemen om te zorgen dat je objectief blijft. Alleen in een dubbelblinde test is die objectiviteit daadwerkelijk gewaarborgd. Niettemin moet je de dubbelblinde test natuurlijk wel dusdanig inrichten, dat je nog steeds alle relevant gegeven kunt produceren. En dat kan inderdaad best moeilijk zijn.
De auteur suggereert ook nog (maar zonder bronvermelding) dat het erop lijkt dat er niet zoveel bewijs is dat het standpunt van de sceptici ("Alles is suggestie en placebo") ondersteunt, maar dat het aanwezige bewijs wel erg sterk is. Daar tegenover staat dat er heel veel bewijs is dat er wel verschillen zijn (veel reviewers bijvoorbeeld horen verschillen), maar dat dat bewijs allemaal anekdotisch is.
Het is heel simpel... anekdotisch bewijs, is geen bewijs. Het is hooguit een aanwijzing, die er om vraagt om nauwekeurig onderzocht te worden.
In de medische wetenschap is het placebo effect onherroepelijk aangetoond, en het is altijd schrikbaren om te zien hoe ongeloof sterk het is. Iedere medische test moet dubbelblind worden uitgevoerd, en bij bijzondere resultaten is het eerste wat onderzocht wordt, of er bij de blindering iets mis is gegaan.
Zonder twijfel is het placebo effect bij audio minstens net zo sterk, en vermoedelijk veel sterker. En dus moet een serieuze reviewer er alles aan doen om de objectiviteit te behouden.
De kwestie is eigenlijk heel simpel...
Zonder dubbelblinde test, kun je
nooit garanderen dat de test objectief was.
Maar het simpele feit dat de test dubbelblind was, is natuurlijk ook geen garantie dat de test op een zinvolle wijze uitgevoerd is. Het is alleen maar een garantie dat de test objectief is.
Niemand zal er verbaasd van opkijken dat getrainde luisteraars makkelijker verschil tussen apparatuur opmerken, dan de eerste de beste persoon van de straat. Een test die dus dure apparatuur op leken uittest, is niet zinvol.
Bron 2:
The Blind, the Deaf and the Not-So Blind
De auteur beschrijft het dubbel-blind testen van verschillende algoritmes die data-reductie op audio doen (zoals mp3), met als doel er een te kiezen voor radiouitzendingen. Na meerdere testen, met 60 experts als luisteraars en meer dan 20.000 samples, werd er geconcludeerd dat beide algoritmes goed genoeg waren. Kort daarop bleek dat door een van de twee algoritmes een zachte, maar toch echt aanwezige, fluittoon op ongeveer 1.5 kHz werd geïntroduceerd, die dus door niemand eerder gehoord was, maar door een expert er meteen uitgepikt werd. Het enige wat die test dus bewees, was dat die toon onder de specifieke condities van dat experiment door de specifieke deelnemers aan het experiment niet te horen was...
En op welke manier heeft het dubbel-blind zijn er toe bijgedragen dat men die toon niet hoorde??
Als die ene expert het er onmiddellijk uitpikte, dan had hij dat er ook in een dubbelblinde test onmiddellijk opgemerkt. Betekent alleen maar dat de test slecht is uitgevoerd. Die 60 expert luisteraars waren dan blijkbaar slechte proefpersonen.
Dat is waar de auteur de mist in gaat... Hij laat een paar slecht uitgevoerde test zien, en wil daaruit concluderen dat dubbelblindheid niet werkt. Onzin natuurlijk.
Dubbelblind testen garandeerd alleen objectiviteit. Het garandeert geen goede test.
Een goede methode zou zijn om eerste op je gemak een niet-blind test te doen, en daarmee specifieke problemen, en verschillen op te sporen, en te analyseren. Daarna kun je dan een dubbelblind test doen, om te zien of je daadwerkelijk zo objectief was, als je zelf dacht.
Doordat je het zo het toegespits, is dat dan vrij simpel (dubbel)blind uit te voeren.
Dat is ook de manier die ik altijd samen met mijn broer doe. Welliswaar slechts blind, en niet dubbelblind. De resultaten zijn soms verrassend, en ontnuchterend. Heel vaak is het ook gewoon keurig bevestigend van wat ik eerder als subjectief had waargenomen.