Berekenen steekproefgrootte

[evilution]

Mijn vraag
Ik heb een lijst met ruim 2300 regels die ik moet beoordelen op correctheid. Iedere beoordeling duurt meerdere minuten. Ik heb mijn "baas" reeds gemeld dat 1 op 1 beoordeling dus o.a. alleen al vanwege de tijd die het kost niet gaat gebeuren.
Blijkbaar is ergens een getal van 200 geroepen wat diegene die het resultaat wil te weing vindt, en ik nog steeds veel te veel vind. Alleen heb ik geen verstand van statistiek.

Relevante software en hardware die ik gebruik
De lijst staat in Excel maar dat lijkt me niet relevant.

Wat ik al gevonden of geprobeerd heb
Als ik op https://nl.surveymonkey.com/mp/sample-size-calculator/ invul, populatie 2300, betrouwbaarheid 95% en foutmarge 10% kom ik op een steekproefgrootte van 93. Alleen weet ik niet zo goed wat die foutmarge betekent.

Is er een statisticus in de zaal die mij kan helpen een goed onderbouwde steekproefgrootte te berekenen?

[pagani]

Betere vraag: Hoe controleer je de correctheid? En kun je dat niet beter automatiseren, met een functie of macro?

[Microkid]

Foutmarge: Een percentage dat aangeeft in hoeverre uw enquêteresultaten overeenkomen met de mening van de hele populatie. Hoe kleiner de foutmarge, hoe beter u een vraag exact kunt beantwoorden bij een bepaald betrouwbaarheidsniveau.

[evilution]

pagani schreef op dinsdag 30 juni 2020 @ 19:08:
Betere vraag: Hoe controleer je de correctheid? En kun je dat niet beter automatiseren, met een functie of macro?

Dat doe ik door meegeleverde "bewijsdocumenten" te bekijken, en te vergelijken met wat ik zelf weet van het betreffende object d.m.v. eigen documentatie of eigen wetenschap van zo'n object. Dat is niet te automatiseren.

Microkid schreef op dinsdag 30 juni 2020 @ 19:08:
Foutmarge: Een percentage dat aangeeft in hoeverre uw enquêteresultaten overeenkomen met de mening van de hele populatie. Hoe kleiner de foutmarge, hoe beter u een vraag exact kunt beantwoorden bij een bepaald betrouwbaarheidsniveau.

Ik heb de definitie ook opgezocht, vergeten te vermelden in mijn startpost. Ik doe geen enquete maar doe de controle zelf.
Heb je voor mij een ELI5 uitleg?

Ter context: het gaat om een lijst van "bestaande gebreken" die een aannemer levert bij het aangaan van een onderhoudscontract.

[ Voor 8% gewijzigd door evilution op 30-06-2020 19:16 ]

[evilution]

Microkid schreef op dinsdag 30 juni 2020 @ 19:08:
Foutmarge: Een percentage dat aangeeft in hoeverre uw enquêteresultaten overeenkomen met de mening van de hele populatie. Hoe kleiner de foutmarge, hoe beter u een vraag exact kunt beantwoorden bij een bepaald betrouwbaarheidsniveau.

Betekent een foutmarge van 10% dan dat ik aanneem dat de overige 90% correct is?

Sorry, ik snap echt wei ig van statistiek.

[GlowMouse]

Wat is de conclusie die je wilt trekken? Dat alle 2300 regels waarschijnlijk juist zijn? Wil je een schatting maken van het aantal fouten?

Zijn alle regels even belangrijk?

[emnich]

Iemand verbeterd me wel als ik er naast zit (statistiek is wat roestig).

Als je straks tot de conclusie komt dat 90% van het werk goed is gedaan en je hebt een foutmarge van 10% en een zekerheid van 95% dan kan je met 95% zekerheid zeggen dat de aannemer tussen de 81% en 99% goed werk levert.

[GlowMouse]

emnich schreef op dinsdag 30 juni 2020 @ 20:50:
Als je straks tot de conclusie komt dat 90% van het werk goed is gedaan en je hebt een foutmarge van 10% en een zekerheid van 95% dan kan je met 95% zekerheid zeggen dat de aannemer tussen de 81% en 99% goed werk levert.

Je zit ernaast

[naitsoezn]

Of je trekt gewoon even twee week uit om de opdrachtgever te plezieren en rekent hem even voor wat dit kost?

De statistiek waar je naar op zoek bent gaat alleen maar op wanneer je zeker weet wat de verdeling is waar de samples vandaan komen.

[ Voor 37% gewijzigd door naitsoezn op 30-06-2020 20:56 ]

[evilution]

GlowMouse schreef op dinsdag 30 juni 2020 @ 20:49:
Wat is de conclusie die je wilt trekken? Dat alle 2300 regels waarschijnlijk juist zijn? Wil je een schatting maken van het aantal fouten?

Zijn alle regels even belangrijk?

Ja, dat is de conclusie die ik wil trekken.

emnich schreef op dinsdag 30 juni 2020 @ 20:50:
Iemand verbeterd me wel als ik er naast zit (statistiek is wat roestig).

Als je straks tot de conclusie komt dat 90% van het werk goed is gedaan en je hebt een foutmarge van 10% en een zekerheid van 95% dan kan je met 95% zekerheid zeggen dat de aannemer tussen de 81% en 99% goed werk levert.

GlowMouse schreef op dinsdag 30 juni 2020 @ 20:52:
[...]

Je zit ernaast

Ok, dit is interessant

naitsoezn schreef op dinsdag 30 juni 2020 @ 20:52:
Of je trekt gewoon even twee week uit om de opdrachtgever te plezieren en rekent hem even voor wat dit kost?

Helaas, dit is geen optie. Ik werk niet voor een commerciéle organisatie (wij geven belastinggeld uit), dit is niet facturabel en gaat ten koste van mijn reguliere werk.

[GlowMouse]

evilution schreef op dinsdag 30 juni 2020 @ 20:56:
[...]

Ja, dat is de conclusie die ik wil trekken.

"Wil je koffie of thee?"
"ja"
Je moet kiezen

[evilution]

GlowMouse schreef op dinsdag 30 juni 2020 @ 20:58:
[...]

"Wil je koffie of thee?"
"ja"
Je moet kiezen

De regels zijn allemaal min of meer even belangrijk. Ik wil een steekproefgrootte die mij zegt in hoeverre dat iets zegt over de correctheid van het totale bestand.

[ Voor 20% gewijzigd door evilution op 30-06-2020 21:02 ]

[GlowMouse]

evilution schreef op dinsdag 30 juni 2020 @ 20:59:
[...]

De regels zijn allemaal min of meer even belangrijk.

Maar wil je concluderen dat alle 2300 regels waarschijnlijk juist zijn, of wil je een schatting maken van het aantal fouten?

[evilution]

GlowMouse schreef op dinsdag 30 juni 2020 @ 21:01:
[...]

Maar wil je concluderen dat alle 2300 regels waarschijnlijk juist zijn, of wil je een schatting maken van het aantal fouten?

Wellicht zijn beiden belangrijk. Zoals gezegd, ik weet weinig van statistiek.

De steekproefgrootte moet het mij mogelijk maken dat alles waarschijnlijk juist is, bij voorkeur met een soort van marge.

Edit: Nee, de steekproef moet mij de mogenlijkheid verschaffen een oordeel over het totale bestand te verschaffen, mogelijk met een bandbreedte van dat oordeel.

[ Voor 31% gewijzigd door evilution op 30-06-2020 21:08 ]

[Roozzz]

naitsoezn schreef op dinsdag 30 juni 2020 @ 20:52:
[...]
De statistiek waar je naar op zoek bent gaat alleen maar op wanneer je zeker weet wat de verdeling is waar de samples vandaan komen.

Dit.

Er zijn wel modellen beschikbaar om te bepalen wat de steekproefgrootte minimaal moet zijn, mits de verdeling bekend is. Gezien deze waarschijnlijk niet bekend is, is het moeilijk argumenteren waarom 200 te veel zou zijn. 10% handmatig checken van deze relatief kleine sample klinkt niet heel vreemd als ondergrens en lijkt mij verdedigbaar.

Maar goed, uiteindelijk zal je iets moeten vinden waar de klant/opdrachtgever ook tevreden mee is. Ik zou wel even expliciet maken hoeveel tijd deze inspanning kost, zowel naar jouw baas als klant (of is dat dezelfde?). Doe een voorstel wat jou realistisch lijkt qua urenbesteding en wat dit betekent voor jouw reguliere werk en voer de discussie vanaf daar.

Gezien jij er weinig zin in lijkt te hebben, is er geen stagiair/junior te vinden waar je dit in de maag kan splitsen?

[GlowMouse]

evilution schreef op dinsdag 30 juni 2020 @ 21:03:
[...]

Wellicht zijn beiden belangrijk. Zoals gezegd, ik weet weinig van statistiek.

De vraagstelling is heel belangrijk. Het is heel moeilijk om beide conclusies uit één steekproef te halen. Zoek dus uit wat je wilt concluderen.

naitsoezn schreef op dinsdag 30 juni 2020 @ 20:52:
De statistiek waar je naar op zoek bent gaat alleen maar op wanneer je zeker weet wat de verdeling is waar de samples vandaan komen.

Om dit even specifieker te maken: afhankelijk van welke conclusie je wilt trekken, moet je weten of journaalregels van elkaar afhankelijk zijn: is het waarschijnlijker dat een journaalregel fout is, als je weet dat bepaalde andere regels ook fout zijn? En bij afhankelijkheid moet je ook nog precies weten wat het verband is. Maar als je enkel aanneemt dat de 2300 regels juist zijn, en wilt onderzoeken of je aanname juist is, is dat niet nodig.

[FlowSnake]

Eerlijk, wil je proberen te bewijzen dat alle regels waarschijnlijk juist zijn om te bewijzen dat je het kwalitatieve onderzoek niet hoeft uit te voeren?

En wanneer is een melding van een bestaand gebrek juist? Er is iets stuk, en aannemer vergeet dit te melden? Of er is niks stuk, en aannemer maakt zelf wat stuk? Of aannemer meldt oprecht gebreken, die eerder niet zijn opgemerkt?

En door wie is bepaald dat het stuk is? Want ik merk een beetje op dat jijzelf mee hebt beoordeeld of iets een bestaand gebrek betreft, klopt dat? Eigenlijk zou jij dit onderzoek niet mogen uitvoeren in dat geval (kom je er toch onderuit haha).

En wat is het doel? Dus het bestand hoeft niet geüpdatet te worden als er fouten worden gevonden, alleen de correctheid moet in kaartgebracht worden?

[evilution]

GlowMouse schreef op dinsdag 30 juni 2020 @ 21:27:
[...]

De vraagstelling is heel belangrijk. Het is heel moeilijk om beide conclusies uit één steekproef te halen. Zoek dus uit wat je wilt concluderen.

[...]

Om dit even specifieker te maken: afhankelijk van welke conclusie je wilt trekken, moet je weten of journaalregels van elkaar afhankelijk zijn: is het waarschijnlijker dat een journaalregel fout is, als je weet dat bepaalde andere regels ook fout zijn? En bij afhankelijkheid moet je ook nog precies weten wat het verband is. Maar als je enkel aanneemt dat de 2300 regels juist zijn, en wilt onderzoeken of je aanname juist is, is dat niet nodig.

Uiteindelijk weten of de lijst juist is. Is het aannemelijk dat alle gebreken die aannemer meldt daadwerkelijk aanwezig zijn.

De regels zijn niet van elkaar afhankelijk.

Stel je huurt een aannemer om een heel groot gebouw voor de komende 5 jaar te onderhouden. Deze aannemer is gekozen op basis van aanbesteding. Voorafgaand aan de gunning kon aannemer niet uitgebreid het gebouw inspecteren. Nu de aannemer dit contract heeft en de nieuwe onderhoudspartij is heeft die de gelegenheid om te kijken welke onderdelen van dit pand dusdanig gedegenereerd zijn dat dit redelijkerwijs niet binnen het onderhoudscontract kan worden uitgevoerd. Hij krijgt dus een extra zak geld, bijvoorbeeld om een kozijn te vervangen wat dusdanig is verrot dan schilderen niet afdoende meer is.

[Roozzz]

Dus eigenlijk wil je weten of de aannemer je niet belazerd?

Ik weet zo niet bij welke overheidsorganisatie je zit, maar "wij" leggen de bal qua bewijsvoering expliciet bij de aannemer. Laat hem maar aantonen waarom maatregel x genomen moet worden, hoe hij dat gaat doen en achteraf dat het goed is uitgevoerd.
Daar kan je prima op controleren, maar welke steekproef daarvoor goed genoeg is, is niet te zeggen.

Persoonlijk zou ik, als minimum, de opvallende zaken checken en gewoon eens een rondje op locatie doen. Dit controleren kan je evt ook bij een derde partij beleggen als tijd echt een probleem is. Anderzijds dit weet je van te voren toch?

Tip voor de volgende keer: laat een onafhankelijke partij vóór de aanbesteding een nulmeting doen en gebreken inzichtelijk maken. Vervolgens geef je fit mee met de uitvraag. Dan weet de aannemer een stuk beter waar hij aan toe is, krijg je betere/completere aanbiedingen en hoef je niet na gunning alsnog vanalles toe te voegen aan het contract.
Kost aan de voorkant een paar extra centjes, maar die win je makkelijk terug in het vervolg in mijn ervaring.

[Illusion]

Elke regel en elk gebrek heeft dus een (herstel)waarde.
Je zou als grens kunnen stellen dat je 50% van de totale waarde wil inspecteren waarbij je steeds de 8 duurste ongecontroleerde en 2 willekeurige goedkope regels toetst, tot je dat percentage hebt gehaald.

De dure regels omdat ze duur zijn. De goedkope omdat het psychologie is: “ boek maar 20 goedkope dingetjes, die checken ze toch niet”

[Philip Ross]

Er zijn een paar verschillende dingen die je kan doen.
Als er per regel een kostenschatting staat kan je er voor kiezen om bijvoorbeeld slechts de duurste 10% to controleren. Dan kan je mogelijk zeggen dat bijvoorbeeld 40% van te totale kosten in ieder geval correct zijn. Zoals Illusion hierboven noemt dus een gerichte controle.

En alternatief is om een steekproef te doen zoals je zegt en uit te rekenen hoe groot de kans is dat er niet meer dan x fouten in zitten. De zekerheid waarmee je kan zeggen dat er geen fouten in zit is exact zo groot als het percentage dat je controleerd. Naarmate je meer fouten zou tolereren word de zekerheid groter dat je onder de grens blijft. In feite als je 10% zou controleren dan heb je 90% kans dat je 1 fout mist. Maar als er 10 fouten zouden zijn heb je slechts 35% kans dat je ze allemaal zou missen.

Ik zou de vraagstelling dus een beter bekijken. Wat wil je precies bereiken?

[GlowMouse]

evilution schreef op woensdag 1 juli 2020 @ 09:08:
[...]

Uiteindelijk weten of de lijst juist is. Is het aannemelijk dat alle gebreken die aannemer meldt daadwerkelijk aanwezig zijn.

De regels zijn niet van elkaar afhankelijk.

Stel je huurt een aannemer om een heel groot gebouw voor de komende 5 jaar te onderhouden. Deze aannemer is gekozen op basis van aanbesteding. Voorafgaand aan de gunning kon aannemer niet uitgebreid het gebouw inspecteren. Nu de aannemer dit contract heeft en de nieuwe onderhoudspartij is heeft die de gelegenheid om te kijken welke onderdelen van dit pand dusdanig gedegenereerd zijn dat dit redelijkerwijs niet binnen het onderhoudscontract kan worden uitgevoerd. Hij krijgt dus een extra zak geld, bijvoorbeeld om een kozijn te vervangen wat dusdanig is verrot dan schilderen niet afdoende meer is.

Zoek maar eens op monetary unit sampling. Je kunt met een vrij kleine steekproef concluderen dat er voor niet meer dan x euro wordt gefraudeerd (x kies je vantevoren, hoe groter x, hoe kleiner je steekproef), op zo'n manier dat wanneer je dit voor meerdere gebouwen doet, je bij niet meer dan (zeg) 5% van de gebouwen de verkeerde conclusie trekt.

[evilution]

Allen dank voor de reacties.

Dit is een intern bedrijfsproces. Wij spreken hier niet over frauderen maar beoordelen rechtmatigheid van betaling. Mijn "klant" is een beter betaalde collega maar niet iemand aan wie ik hiëarchisch verantwoording afleg.

Ik heb hem inmiddels mijn motivatie gemaild waarom ik 200 checks eigenlijk al veel vind. Op basis van surveymonkey, mijn inhoudelijke expertise en nog wat dingen. Zo zijn veel regels min of meer te groeperen waarbij de algemene onderhoudsstaat aannemelijk gelijk zal zijn.

Members only:

Alleen zichtbaar voor ingelogde gebruikers. Inloggen