Statistisch significant verschil tussen twee grafieken

[wacco]

Een goedenavond,

Ik heb een algoritme laten draaien met 2 verschillende settings, per setting 20x. Daarvan* heb ik het gemiddelde genomen en de standaard deviatie, en deze kan ik plotten;

(verticale lijntjes zijn de standaard deviatie, y axis is performance, x axis is iteration in algoritme)

Nu wil ik zien te berekenen of dit verschil in performance ook statistisch significant is. Een T-test werkt alleen met losse samples, een ANOVA heb ik nooit op dit soort data gezien (want de x is niet de onafhankelijke variabele hier) en daar hield mijn kennis van statistiek op.

Hoe bereken ik of deze twee lijnen met hun standaard deviatie vrijwel zeker uit andere distributies komen? Ik verwacht eigenlijk iets van een confidence interval voor een grafiek (zoals ik de standaard deviatie heb aangegeven misschien?) en als deze niet overlappen (daar zou toch een functie voor moeten zijn) heb ik een significant resultaat.

Verder zit ik te klussen in excel, maar enige pointers naar de juiste termen zijn al zeer welkom.

*Alle data is aanwezig dus als het handiger is om dat direct te gebruiken dan kan dat ook natuurlijk

[wacco]

Ik ben een beetje creatief geworden met de interpretatie van hoe je zoiets zou moeten aangeven;


Voor elke iteratie een two-tailed t-test gedaan, daar de p-value van berekent en die vergeleken met het significantieniveau van 0.01. Waar deze kleiner is kleur ik de achtergrond grijs.

Het is misschien niet dé methode maar na de hele middag zoeken kon ik echt geen betere manier vinden, en dit geeft het idee wel goed weer vind ik.

Als iemand een beter idee heeft hoor ik het nog steeds graag natuurlijk.

[pedorus]

Er bestaat niet echt iets zoals een 'statistisch significant verschil tussen twee grafieken'. Statistische significantie slaat op het kunnen verwerpen van een bepaalde hypothese. Het is hier een beetje onduidelijk wat de hypothese is die je wilt kunnen verwerpen. Of setting 1 in het algemeen beter is dat setting 2 in een bepaalde context, is niet zo eenvoudig te bepalen vanwege de correlaties. Er bestaan wel methodes voor (hier bijvoorbeeld), maar het hangt af van de context van je algoritme en het is niet heel eenvoudig.

Het eenvoudigst lijkt me om gewoon te bepalen of setting 1 na x iteraties beter is dan setting 2, met een vaste gekozen x. Je hebt dan 2x20 waarnemingen, en daar kun je al naar gelang de onderliggende verdeling van die waarnemingen bijvoorbeeld een T-test, een KS-test of een U-test op doen. Dit was al getikt voor je 2e post, dus het lijkt me dat je de goede weg hebt gekozen (als de boel normaal verdeelt is tenminste)..

Overigens is iets als R gratis, en vast beter geschikt dan Excel.

[gambieter]

pedorus schreef op vrijdag 01 januari 2010 @ 19:18:
Overigens is iets als R gratis, en vast beter geschikt dan Excel.

De hele statistiekmodule die in Excel zit klopt ook voor geen meter, in ieder geval niet de t-testen etc. Je hebt toch echt een fatsoenlijk statistiekprogramma als SPSS nodig.

[wacco]

Tsja deadlines heh.
Ik had me voorgenomen om R te leren (en ook al geinstalleerd enzo) maar het ging me toch even allemaal boven m'n pet, plus dat ik al veel te veel tijd had gestoken in de truucjes van LaTeX door krijgen. Dus R komt voor m'n volgende verslag aan bod.

Overigens kost een in Excel ingebouwde t-test een minuut aan waardes selecteren en ik moest er voor het maken van de grafiekjes 1200 doen. Dus heb ik zelf de t-test formule van wikipedia maar overgenomen en direct in m'n sheet getikt. Waardes kwamen wel overeen met die van Excel dus ik heb het idee dat dat wel klopte.

M'n null hypothese was dat de gegenereerde settings dezelfde anytime behavior (gewoon verloop van de grafiek dus) zouden moeten vertonen. Eerdere grafiek laat de twee settings zien, en nu wil ik dus zeggen dat deze dus niet hetzelfde zijn. In deze zou ik dus nu kunnen zeggen dat het na ~1500 iteraties een significant andere curve is, maar het liefst zou ik gewoon in het algemeen ja of nee kunnen zeggen.