Ontwerpen van een IQ test

[Essence]

Wil proberen om een IQ test te ontwerpen met louter "vergelijking" opgaven, van gemakkelijk tot moeilijk, dus met X vragen zoals:

1. Wit staat tot zwart als licht staat tot ...
a. zwaarder
b. donker
c. zwart
d. zaklantaarn
e. grijs

(Goede antwoord is natuurlijk b.)

Ik loop tegen de volgende vragen aan:
- Zijn er op meta niveau categorieen cq basisprincipes op te sommen waarmee je dit soort vragen kunt construeren?
- is het mogelijk om dit soort vragen zoveel mogelijk onafhankelijk te maken van je taalniveau (kortom een basisniveau is alleen benodigd, ik wil er geen taaltest van maken)?
- kan ik (met vriendenkring) sowieso wel een IQ test ontwerpen die ook geschikt is voor mensen met een hoger IQ dan ieder van ons in de ontwerpgroep. Kortom is het geheel "slimmer" dan de slimste samenstellers (gegeven genoeg samenstellers)?
- Er zijn natuurlijk al heel veel boeken/internetsites met IQ testen te vinden, maar ik kan geen materiaal vinden over het ontwerpen van IQ testen en over de bepaling van de score en nauwkeurigheid gegeven een bepaald aantal vragen en mogelijke antwoorden. Wie o wie heeft ideeen?

[Christiaan]

Het opstellen van IQ-tests is praktisch onmogelijk voor leken. Wat je kunt proberen is eerst bepalen welke mensen op andere tests hoog scoren. Je neemt een populatie van X mensen en bepaald voor die mensen met een bekende en veelgebruikte test wat hun IQ is. Vervolgens deel je ze in in groepen die geclassificeerd zijn volgens: IQ tussen 80 en 90, IQ tussen 90 en 100, enz. Vervolgens laat je ze vragen maken die je hebt opgesteld. De vragen die door de mensen met een hoger IQ goed gemaat worden, maar niet door mensen met een lager IQ zijn kennelijk bepalend.

Deze methode is absoluut niet waterdicht. Het samenstellen van goede IQ-tests vereist onderzoek, veel testen en duurt over het algemeen lange perioden. Maar dit is een manier waarop het enigszins kan. Of je de criterion validiteit hoog is vraag ik me af...

Waarom wil je het zelf maken?

[Essence]

ChristiaanVerwijs schreef op 02 February 2003 @ 18:11:
Het opstellen van IQ-tests is praktisch onmogelijk voor leken. Wat je kunt proberen is eerst bepalen welke mensen op andere tests hoog scoren. Je neemt een populatie van X mensen en bepaald voor die mensen met een bekende en veelgebruikte test wat hun IQ is. Vervolgens deel je ze in in groepen die geclassificeerd zijn volgens: IQ tussen 80 en 90, IQ tussen 90 en 100, enz. Vervolgens laat je ze vragen maken die je hebt opgesteld. De vragen die door de mensen met een hoger IQ goed gemaat worden, maar niet door mensen met een lager IQ zijn kennelijk bepalend.

Deze methode is absoluut niet waterdicht. Het samenstellen van goede IQ-tests vereist onderzoek, veel testen en duurt over het algemeen lange perioden. Maar dit is een manier waarop het enigszins kan. Of je de criterion validiteit hoog is vraag ik me af...

Waarom wil je het zelf maken?

Omdat het me interessant lijkt om te doen, natuurlijk, it's fun! Ik houd van puzzelen, vind het ook leuker om cryptogrammen te ontwerpen dan ze zelf te maken bijvoorbeeld. Ontneem me nou niet dat pleziertje, Christiaan, je demotiveert me bijna Verder gaat het me nou juist om het maken&analyseren van een test met alleen vergelijkingsvragen.
Je zegt het is ondoenlijk voor leken, dat hangt van je doelen af, de groep vrienden waarmee ik de test wil ontwerpen hebben allemaal redelijke hoge IQ's bij reguliere testen (varierend van 121 tot 148) met wetenschappelijke achtergrond en wiskundige kennis, maar belangrijker, sommigen zijn ook akelig creatief. Wellicht dat we met GoT input erbij nog veel verder kunnen komen! Kortom, we zouden er allemaal van kunnen leren. Ik begrijp dat de ijking een probleem an sich is, maar dat had ik ook niet anders verwacht, als de test origineel is, ben ik al heel tevreden. Heb je ook referenties/boeken die de door jouw genoemde meetmethode beschrijven en staven?

[Christiaan]

Essence schreef op 02 February 2003 @ 18:50:
Kortom, we zouden er allemaal van kunnen leren. Ik begrijp dat de ijking een probleem an sich is, maar dat had ik ook niet anders verwacht, als de test origineel is, ben ik al heel tevreden. Heb je ook referenties/boeken die de door jouw genoemde meetmethode beschrijven en staven?

Niet echt. Enkel van de oudste methoden (en die heb ik hierboven beschreven). De meeste IQ-tests zijn weggestopt in kluizen en mogen alleen gebruikt worden door geauthoriseerde psychologen (en psychologie-studenten ). Ook het samenstellen van de tests is vaak een goed bewaard geheim. Ik kan je er verder dus niet zoveel over vertellen - alleen dat het verrekte moeilijk is en dat er psychologen zijn die hier hun werk van maken . Maar ik zal je niet verder de-motiveren.

[Essence]

ChristiaanVerwijs schreef op 02 February 2003 @ 19:11:
[...]
Niet echt. Enkel van de oudste methoden (en die heb ik hierboven beschreven). De meeste IQ-tests zijn weggestopt in kluizen en mogen alleen gebruikt worden door geauthoriseerde psychologen (en psychologie-studenten ).

Jij bent niet toevallig een psychologie student??
Weggestopt in kluizen he? Lijkt me tegen het hele idee van zuivere IQ testen ingaan, net als met encryptiealgorithmes zou dit soort info ook gewoon publiekelijk beschikbaar moeten zijn om de best mogelijke test te kunnen ontwerpen. De rillingen lopen me al over de rug als dit voorbehouden zou zijn aan een groep hoogbegaafde psychologen, het lijkt me dat andere discliplines, of breder het collectieve intellect op internet ook zijn nuttige input kan leveren (en niet alleen mensen die bereid zijn geld te betalen voor de uitslag van een IQ test).

Afijn, ik kom al op de volgende categorieen van vergelijkingsvragen:
- Tegenstellingen: wit staat tot zwart als kort staat tot lang
- Analogieen: moeilijk staat tot problematisch als goed staat tot correct
- "has" relationships: letter staat tot woord als cijfer staat tot getal
- "use" relationships: puck staat hockey als tennisbal staat tot tennis
- interface relationships: CNTRL-ALT-DEL staat tot bowlen als aanbellen staat tot neuspeuteren

Goh, 't lijkt wel OO design, who has more?

[Christiaan]

Essence schreef op 03 februari 2003 @ 16:18:
Jij bent niet toevallig een psychologie student??
Weggestopt in kluizen he? Lijkt me tegen het hele idee van zuivere IQ testen ingaan, net als met encryptiealgorithmes zou dit soort info ook gewoon publiekelijk beschikbaar moeten zijn om de best mogelijke test te kunnen ontwerpen. De rillingen lopen me al over de rug als dit voorbehouden zou zijn aan een groep hoogbegaafde psychologen, het lijkt me dat andere discliplines, of breder het collectieve intellect op internet ook zijn nuttige input kan leveren (en niet alleen mensen die bereid zijn geld te betalen voor de uitslag van een IQ test).

Die tests zijn zo geheim omdat ze niet willen dat mensen zich erop kunnen voorbereiden. Wat dat betreft is het net een schooltentamen - die is ook niet publiek. Je vergelijking gaat dus niet helemaal op . De vragen op een IQ-test zijn namelijk zeer specifiek samengesteld. Voor iedere vraag wordt goed getest of hij wel valide is - dus test hij wel wat getest moet worden (namelijk IQ).

Net als dat je software niet gratis krijgt, moet je dus ook voor dit soort tests betalen. In tegenstelling tot wat sommigen beweren, zijn IQ-test relatief valide. Ze kennen een criterion validiteit. Dat wil zeggen dat een hoog resultaat op een IQ-test een succesvolle (intellectuele) toekomst kan voorspellen. Natuurlijk niet altijd, maar meestal wel. IQ-tests zijn over het algemeen valide.

Afijn, ik kom al op de volgende categorieen van vergelijkingsvragen:
- Tegenstellingen: wit staat tot zwart als kort staat tot lang
- Analogieen: moeilijk staat tot problematisch als goed staat tot correct
- "has" relationships: letter staat tot woord als cijfer staat tot getal
- "use" relationships: puck staat hockey als tennisbal staat tot tennis
- interface relationships: CNTRL-ALT-DEL staat tot bowlen als aanbellen staat tot neuspeuteren

Goh, 't lijkt wel OO design, who has more?

Er zijn vele IQ-tests. Eerst moet je IQ gaan definieren. Wat zie jij als IQ? Daarna kunnen we het gaan operationaliseren (=meetbaar maken). Begin daar eens mee voordat je bovenstaande zaken uit gaat werken.

[Essence]

ChristiaanVerwijs schreef op 03 februari 2003 @ 17:50:
Wat zie jij als IQ? Daarna kunnen we het gaan operationaliseren (=meetbaar maken). Begin daar eens mee voordat je bovenstaande zaken uit gaat werken.

IQ is volgens mij de snelheid waarin een mens met volgroeide hersenen (wat met de onvolgroeide hersenen te doen en hoe daarvoor te corrigeren?) in staat is om:
- nieuwe zaken te begrijpen
- verbanden te leggen tussen zaken die men reeds begrijpt
In mijn visie heeft IQ dus niets te maken met wat je reeds weet. Hoewel ik wel vermoed dat er een correlatie is tussen een goed lange termijn geheugen en een hoge score bij *bestaande* IQ tests, da's jammer. Eigenlijk zou je bij het doen van een IQ test alle mogelijk bronnen in handbereik mogen hebben en het zou niets moeten uitmaken voor de score. Het zou dus onfhankelijk moeten zijn van opleiding en moedertaal. Een ideale IQ test zou voor mij een test zijn die vanaf het begin alle begrippen verderop in de test definieert, waardoor geen voorkennis benodigd is.
Christiaan, wat vind je van het bovenstaande? Does it make sense? Ik zou ook graag jouw definitie van IQ willen weten. PS: het lijkt wel of wij de enige twee zijn tot nu toe die deze discussie de moeite waard vinden.

[Christiaan]

Essence schreef op 04 February 2003 @ 23:49:
IQ is volgens mij de snelheid waarin een mens met volgroeide hersenen (wat met de onvolgroeide hersenen te doen en hoe daarvoor te corrigeren?) in staat is om:
- nieuwe zaken te begrijpen
- verbanden te leggen tussen zaken die men reeds begrijpt

Ik denk dat dat wel een aardige benadering is. Dat is, zeg maar, je theorie. Nu moet je kijken hoe je dat meetbaar gaat maken. Hoe wil jij meten hoe goed iemand verbanden kan leggen? Wat is het leggen van verbanden? Definieer dat eens.

In mijn visie heeft IQ dus niets te maken met wat je reeds weet. Hoewel ik wel vermoed dat er een correlatie is tussen een goed lange termijn geheugen en een hoge score bij *bestaande* IQ tests, da's jammer.

Dan heb je de verkeerde tests voor gedachten. De meeste huidige IQ-tests veronderstellen geen aanwezige kennis. Raymond Cattell heeft een IQ-test opgezet die ik persoonlijk het beste vind. Hij onderscheidt twee soorten IQ: fluid intelligence en crystallized intelligence. Fluid intelligence is het vermogen tot toepassen van kennis en het logisch beredeneren; het probleem-oplossend vermogen dus. Crystallized intelligence is feiten-kennis. Je hebt nu ook meteen mijn definitie van IQ. Je moet wel begrijpen dat er heel veel definities zijn. Je kunt emotional IQ, social IQ, musical IQ, creative IQ, enz onderscheiden als je wilt.

Eigenlijk zou je bij het doen van een IQ test alle mogelijk bronnen in handbereik mogen hebben en het zou niets moeten uitmaken voor de score. Het zou dus onfhankelijk moeten zijn van opleiding en moedertaal. Een ideale IQ test zou voor mij een test zijn die vanaf het begin alle begrippen verderop in de test definieert, waardoor geen voorkennis benodigd is.

Dat zou inderdaad een mooie gedachte zijn. Helaas kan dat simpelweg net omdat alle tests uiteindelijk met 1 culturele bril opgesteld worden. Niet in alle culturen is het probleemoplossend vermogen even sterk ontwikkeld. De afgelopen 30 jaar is ons eigen fIQ zelfs toegenomen (en niet zo'n beetje ook - wel 20 punten). Dat komt grotendeels door de digitalisering. Dit vereist een dergelijke denkmethode.

Christiaan, wat vind je van het bovenstaande? Does it make sense? Ik zou ook graag jouw definitie van IQ willen weten. PS: het lijkt wel of wij de enige twee zijn tot nu toe die deze discussie de moeite waard vinden.

Klinkt goed, maar beantwoord eens de vragen die ik gesteld heb.

[Verwijderd]

Ik weet niet zo gek veel van IQ testen (heb wel is een online Mensa testje gedaan), maar ik vroeg mij af in hoeverre er bij de (professionele) IQ testen rekening wordt gehouden met dingen als:

- Culturele achtergrond (Iemand uit een stam in nieuw-Guinea, om maar is een cliché-matig beeld te schetsen, zal in mijn optiek andere hersengebieden beter/minder gebruiken dan wij westerlingen. Wordt dit in een geoperationaliseerde vorm meegewogen (if so, how? ... specifieke weegfactoren, waar mensen ongetijfeld op zijn gepromoveerd ? -> Gooi-speer-IQ kost zo en zo veel Wiskundig-IQ?), in de zogeheten crystallized intelligence?)

- Fysieke gesteldheid (Als ik een paar dagen/weken slecht heb geslapen, weinig intellectueel uitdagende activiteiten heb ondernomen (zoals het kijken van DBZ ), depressief ben, lui / gemakkigzuchtig van aard, enzovoorts, dan zal dit een negatieve invloed hebben op mijn IQ, terwijl dit in potentie hoger is. Dit zou je kunnen uitsluiten door op verscheidende tijdstippen te meten en zeer uitgebreid testen af te nemen, waardoor je deze factoren zou kunnen meewegen, maar ik vraag me af of je dan in staat bent nauwkeurig een zogeheten IQ te definieren. Lijkt me dan nog steeds relatief natte vinger werk, maar doorgaans wellicht wel een zinnige indicatie van iemands cognitieve vermogens).

- Als laatste (op dit moment althans) vroeg ik me af of je/men eigenlijk uberhaupt wel een IQ zou willen definieren (en hiermee op grond van een door de tijd heen varierende set aan criteria mensen intellectueel probeert te categoriseren), aangezien er (op dit moment) een onderscheid wordt gemaakt tussen Emotional IQ, Musical IQ, enzovoorts en het in mijn bescheiden optiek lastig is hier een 'algemeen' IQ-getal aan te plakken (Soms lijkt het net alsof mensen enkel en alleen middels een IQ test in een maatschappelijke hoek worden gedrukt en ik vraag me af of dát nu wel de bedoeling is )

Ik doe hier 'zoals ik al zei' geen onderzoek naar, heb mij ook niet echt grondig verdiept in het ongetijfeld zeer uitgebreidde IQ-research vlak, maar spui hier slechts een aantal hersenspinsels van het eerste uur....

[KingRichard]

IQ="Intelligentie Quotiënt";
IQ!="Intelligentie Score";
// Er is geen sprake van het meten van intelligentie. Bij een IQ-test vergelijk je de score die jij hebt op je test met het gemiddelde van de scores van anderen die dezelfde test gemaakt hebben.

[Verwijderd]

KingRichard schreef op 06 February 2003 @ 00:34:
IQ="Intelligentie Quotiënt";
IQ!="Intelligentie Score";
// Er is geen sprake van het meten van intelligentie. Bij een IQ-test vergelijk je de score die jij hebt op je test met het gemiddelde van de scores van anderen die dezelfde test gemaakt hebben.

Met 'meten' bedoel ik hier: "het afnemen v/e bepaalde IQ test..." Een 'IQ-bepaling' in absolute zin (als zijnde 'intelligentie an sich') lijkt me niet echt mogelijk nee... (wellicht in de verre toekomst, als onze breinen in computers worden geupload en kan worden berekend in hoe verre de in het desbetreffende mensenleven tot stand gebrachte neuronale netwerk meer of minder efficient is in verhouding tot het maximaal haalbare (als dat er al is uiteraard) )

Maar wat zegt een IQ-test nu over 'het cognitieve vermogen' van een specifiek individu ? of wil je het laten bij: "Een bepaald Intelligentie Quotient behorend aan een bepaald persoon is gelijk/hoger/lager dan het gemiddelde IQ, binnen de gestelde grenzen (bevolkingsgroep/land/cultuur/leeftijd/etc)" ?

[Essence]

ChristiaanVerwijs schreef op 05 februari 2003 @ 00:11:
[...]
Hoe wil jij meten hoe goed iemand verbanden kan leggen? Wat is het leggen van verbanden? Definieer dat eens.

Hij onderscheidt twee soorten IQ: fluid intelligence en crystallized intelligence. Fluid intelligence is het vermogen tot toepassen van kennis en het logisch beredeneren; het probleem-oplossend vermogen dus. Crystallized intelligence is feiten-kennis.

Op zich ben ik meer geinteresseerd in fluid intelligence, pure feitenkennis is, vind ik, tamelijk nutteloos in het huidige informatietijdperk waarin in principe vele feiten redelijk eenvoudig na te zoeken zijn. Parate kennis zorgt er 'alleen' voor dat je gelijk kunt zoeken naar de verbanden zonder veel tijd te hoeven besteden aan het vergaren van betekenis, synoniemen en achtergrond van de gepresenteerde begrippen in de opgave. Ik wil in mijn te ontwerpen test dus zoveel mogelijk alleen fluid intelligence meten met behulp van vergelijkingsvragen zoals in mijn eerste posting genoemd.
Betreft het leggen van verbanden. Ik denk dat om elk probleem op te lossen je altijd eerst logische verbanden moet leggen, dwz je moet vaststellen wat de relaties zijn die "verborgen" zitten in de formulering van de opgave en/of zijn mogelijke antwoorden.
Mijn zoektocht naar mogelijke categorien vragen is feitelijk het vinden van basissoorten verbanden die men kan hebben gebruikmakend van - misschien moet ik dat inderdaad maar zo expliciet beperken - een formulering met zelfstandige naamwoorden in een vergelijkingsvraag, i.e.:
ZN1 staat tot ZN2 als ZN3 staat tot ZN4

[Christiaan]

Essence schreef op 06 February 2003 @ 17:15:
Op zich ben ik meer geinteresseerd in fluid intelligence, pure feitenkennis is, vind ik, tamelijk nutteloos in het huidige informatietijdperk waarin in principe vele feiten redelijk eenvoudig na te zoeken zijn.

Op zich is dat een goed punt. Ik ben het er niet geheel mee eens, want fluid intelligence zonder crystallized intelligence maakt je nog weinig waard, maar ok .

Betreft het leggen van verbanden. Ik denk dat om elk probleem op te lossen je altijd eerst logische verbanden moet leggen, dwz je moet vaststellen wat de relaties zijn die "verborgen" zitten in de formulering van de opgave en/of zijn mogelijke antwoorden.

Wel interessant, in deze context, is de ontwikkelingstheorie voor cognitie van Piaget. Cognitie is eigenlijk 'het denken' maar dan iets breder. Feitelijk zegt Piaget dat de meeste mensen rond de adolescentie 'formeel operationeel' leren denken. Ze zijn op dat moment in staat abstract te denken - dus los van de realiteit en in symbolen. Nu blijkt uit onderzoek dat 40 tot 60% van de studenten (in de VS, dat wel) hier moeite mee heeft! Je zou dus inderdaad vragen moeten stellen die dit formele denken testen. Het komt dan dus neer op logische constructies zoals:

"Jantje maakt geluid als hij op een trom slaat"
"Stel dat jantje niet op de trom slaat, maakt Jantje geluid?"

Je zult je verbazen over het aantal mensen dat daar toch 'Nee, Jantje maakt geen geluid' op antwoord. Dat is een foute conclusie, want er word geen rekening gehouden met de eerste premise en het feit dat de tweede slechts een hypothetische situatie is. Probleem is alleen wat je hier als score aan verbindt.

Mijn zoektocht naar mogelijke categorien vragen is feitelijk het vinden van basissoorten verbanden die men kan hebben gebruikmakend van - misschien moet ik dat inderdaad maar zo expliciet beperken - een formulering met zelfstandige naamwoorden in een vergelijkingsvraag, i.e.:
ZN1 staat tot ZN2 als ZN3 staat tot ZN4

Dat is maar 1 vorm van testen natuurlijk. Ik denk dat categoriseren ook een sterke indicator is (wat hoort niet in het rijtje?). Hier moet je heel ERG rekening houden met culturen. Wij sorteren meestal taxonomisch. Als ik wil weten wat niet in dit rijtje hoort:

Bijl, Hout, Schep, Zaag

Ik weet zeker dat iedereen hier 'hout' kiest, want dat is geen instrument. Maar mensen uit Uzbekh pakken 'schep'. Waarom? Zij beredeneren dat je de schep niet nodig hebt. De bijl, de zaag en het hout samen zijn betekenisvol, want je kunt ze met elkaar gebruiken. Maar je gebruikt geen schep met hout. Dus is de schep niet correct. Je ziet het probleem

Feitelijk is het verzinnen van vragen niet zo'n moeite. Maar hoe ga je meten? Ga je het aantal vragen tellen dat iemand goed beantwoordt heeft?

Nog een opmerking; IQ-tests meten wel degelijk intelligentie. Over het algemeen blijken de resultaten zeer goede voorspellers te zijn voor de intellectuele toekomst van een individu - dat betekent dat ze valide zijn en meten wat ze moeten meten.

[ Voor 7% gewijzigd door Christiaan op 06-02-2003 17:35 ]