Toepassingen van verfijnde psychometrische modellen voor (inter)nationale grootschalige toetsafnames

Dit proefschrift beslaat vier studies die verschillende aspecten van (inter)nationale grootschalige toetsafnames onderzoeken door standaard psychometrische modellen uit te breiden voor gericht onderzoek naar (a) mogelijke toetsfraude in high-stakes assessments; (b) veranderingen in de vaardigheden tijdens een toetsafname; (c) de statistische aanpak van ontbrekende antwoorden; en (d) extreme antwoordstijl in zelfgerapporteerde vragenlijsten. 

High-stake assessments kunnen leerlingen of scholen direct (Au, 2007) of indirect (Amrein & Berliner, 2002) beïnvloeden, waardoor de kans op oneerlijk testgedrag toeneemt. Hoofdstuk 2 stelt een Bayesiaanse methode voor om scholen met onverwachte uitkomsten gegeven hun eerdere schoolresultaten op te sporen door gebruik te maken van invloedanalyse in een specifiek regressiemodel. Deze methodologie wordt toegepast op niet-Spaans sprekende leerlingen in een Peruaanse high-stakes, grootschalige leesvaardigheidstoets in 2016 voor het vierde leerjaar.

De prestaties van leerlingen kunnen stijgen of dalen tijdens de toetsafname. Deze verandering kan gemodelleerd worden als functie van itempositie bij een afnamedesign met itemvolgordemanipulaties. Hoofdstuk 3 gebruikt een specifiek itemresponsemodel om itempositie-effecten te analyseren in de European Survey on Language Competences (ESLC) 2012. Consistente itempositie-effecten werden gevonden voor luisteren maar niet voor lezen. 

Bij grootschalige toetsafnames beantwoorden leerlingen niet altijd elk item. In Hoofdstuk 4 wordt onderzocht hoe de manier waarop deze ontbrekende antwoorden worden behandeld van invloed kan zijn op itemkalibratie en vaardigheidsschatting. In een simulatiestudie wordt aangetoond dat een IRTree model een hogere graad van accuraatheid geeft dan traditionele antwoordimputatiemethodes bij hoge proporties ontbrekende antwoorden. Wanneer deze methode toegepast wordt op de  Progress in International Reading Literacy Study (PIRLS) afnames tussen 2006 en 2016 bleek het effect minimaal te zijn: er waren enkele veranderingen in de herschatte landsgemiddelden, niettemin vertoonden ze een sterke correlatie met de officiële resultaten. 

Bij het beantwoorden van zelfrapportagevragenlijsten kunnen deelnemers een extreme antwoordstijl aanhangen om hun antwoorden op te krikken (Böckenholt, 2013). Hoofdstuk 5 beschrijft een psychometrische benadering om dergelijke antwoordstijlen te onderzoeken en analyseert de impact van extreme antwoordstijlen op de zelfrapportage van drie vormen van  motivatie ten aanzien van wetenschap en wiskunde binnen de afname in Grade 8 van de Trends in International Mathematics and Science Study (TIMSS) uit 2019. Er zijn daarbij systematische verschillen in de keuze van extreme antwoordopties, maar deze individuele verschilvariabele hangt niet samen met achtergrondkenmerken van de leerling of school of met de leerlingprestaties op de toets.