Op 25 november 2016 was ons onderzoeksteam aanwezig bij de WAOP-conferentie aan de Erasmus-Universiteit van Rotterdam. Liesbeth van Leeuwen presenteerde het eelloo-onderzoek over de validiteit van de “mandjesmethode” die wij in enkele van onze capaciteitentests toepassen.
Eelloo heeft een capaciteitentest ontwikkeld die gebruikt kan worden zonder toezicht, thuis bijvoorbeeld. De geschiktheid voor gebruik van de resultaten van de thuisafname wordt gecontroleerd met een korte verificatietest die wordt afgenomen onder toezicht. Deze noemen we de ‘checktest’. De testonderdelen zijn zodanig gekozen dat respondenten weinig baat hebben bij het gebruik van ongeoorloofde hulpmiddelen, zoals (online) woordenboeken of rekenmachines. Om testlek –het bekend worden van vragen en antwoorden- te voorkomen, is ervoor gekozen te werken met een grote vragenbank met zogenoemde “mandjes”. Dit is een subset van vragen met gelijke moeilijkheidsgraad, waaruit het systeem random een vraag kiest. Zo ontstaat een test die voor iedereen even moeilijk is, maar toch per persoon verschilt.
Samenvattend kunnen we zeggen dat de mandjesmethode een bruikbare methode is, met een meetpretentie die vergelijkbaar is met die van een traditionele test, geschikt voor testen zonder toezicht.
Van een sollicitatie hangt vaak veel af. Daarom is het voorstelbaar, dat er wel eens ‘valsgespeeld’ wordt bij de afname van tests in selectiesituaties. Dit geldt met name wanneer er slechts een kleine kans is dat men betrapt wordt, bijvoorbeeld bij tests die men thuis zonder toezicht kan maken (Karim et al, 2014). Toch is de groep die dit doet, niet zeer groot. Uit onderzoek blijkt het percentage fraudeurs rond de 8% te zijn op tests die zonder toezicht werden afgenomen (Arthur et al., 2009).
Uit onderzoek blijkt dat de validiteit van tests met en zonder toezicht vergelijkbaar zijn (Beaty et al., 2011; Kaminski & Hemingway, 2009). Hierbij is het wel van belang om enkele maatregelen te nemen, zoals (dreigen met) verificatietests. Het toepassen van een verificatietest, of het dreigen daarmee, schrikt af en gaat de neiging tot frauderen grotendeels tegen (Tippins, 2013).
Toezicht gaat het ongeoorloofd gebruik van hulpmiddelen tegen. Echter, ook het vooraf bekend zijn van de vragen en antwoorden (“testlek”) is een belangrijk fraude-risico. Een kandidaat die de vragen en antwoorden kent, kan de test foutloos beantwoorden; wanneer dit gebeurt, meet de test niet meer wat hij beoogt te meten en is in feite waardeloos geworden. De mandjesmethode voorkomt dit probleem.
Bij de ontwikkeling van de test hebben we onszelf enkele vragen gesteld. Is de meetpretentie van de thuistest gelijk aan de traditionele test onder toezicht? Is er sprake van een betrouwbare en valide meting van de thuistest? Wordt fraude daadwerkelijk tegengegaan door de mandjesmethode en het (dreigen met) verificatie? Is de schatting met de mandjesmethode even goed als met de traditionele methode?
Om deze vragen te kunnen beantwoorden, hebben we uitvoerig onderzoek gedaan. Zo hebben we afnames vergeleken van kandidaten die zowel de thuistest als de traditionele test hebben gemaakt. De resultaten hebben we met elkaar vergeleken. We vonden een hoge correlatie tussen de thuistest en de traditionele test. Dit is een indicatie van een vergelijkbare betrouwbaarheid en validiteit van een mandjestest ten opzichte van een traditionele vaste vragenbank-test. Daarnaast blijkt dat de verschillen in scores tussen afname thuis en onder toezicht klein zijn en dat ook de verschillen in scores tussen test en verificatietest vergelijkbaar zijn met de in de literatuur genoemde 8%.
Samenvattend kunnen we zeggen dat de mandjesmethode een bruikbare methode is, met een meetpretentie die vergelijkbaar is met die van een traditionele test, geschikt voor testen zonder toezicht.
Download de slides voor meer achtergrondinformatie.
Onze onderzoeksafdeling verwerkt het onderzoek naar onze tests en vragenlijsten in technische handleidingen. Als je meer wilt weten over het onderzoek ‘A basket case – Using baskets and verification in unproctored testing (Silvester, Van Leeuwen, Geertsma, 2016) of als je geïnteresseerd bent in één van onze technische handleidingen, neem dan contact op met onze onderzoekers.
