Betekenis geven aan data om tot schoolontwikkeling te komen: Hoe gaan onderwijsprofessionals aan de slag met schoolprestatiefeedback?

Doelgericht en systematisch datagebruik heeft een positieve impact op de kwaliteit van onderwijsbeslissingen (Rossi et al., 2004). Onderzoek heeft echter aangetoond dat er in Vlaamse scholen voor het vormgeven van beleid en praktijk eerder weinig gebruikgemaakt wordt van leerlingoutputdata, benchmarks, gestandaardiseerde toetsen en feedback uit wetenschappelijk onderzoek (Van Gasse et al., 2015; Vanlommel et al., 2017). In dit doctoraatsproject onderzochten we in welke mate en op welke manier Vlaamse onderwijsprofessionals schoolprestatiefeedback (SPF) gebruiken voor schoolontwikkeling, met het gebruik van schoolfeedback bij peilingen en paralleltoetsen als specifieke casus. Het project liep gedeeltelijk parallel met een gebruikersonderzoek in de schoot van het STEP - Steunpunt Toetsontwikkeling en Peilingen.

Het proefschrift heeft een theoretische component en een empirische component. Met behulp van conceptuele, kwantitatieve en kwalitatieve methoden bestudeerden we, zowel in de breedte als in de diepte, factoren die schoolfeedbackgebruik belemmeren en stimuleren. Een centraal uitgangspunt was het inzicht dat SPF-gebruik, net zoals andere vormen van informatiegebruik, wordt beïnvloed door factoren die betrekking hebben op de gebruikers zelf, de data, de schoolorganisatie en de onderwijscontext. Om mechanismen te belichten die een rol spelen wanneer leerkrachten en schoolleiders aan de slag gaan met SPF, hebben we een uitgebreide conceptuele verkenning uitgevoerd van het begrip 'sensemaking' (Bertrand & Marsh, 2015; Datnow et al., 2012; Klein et al., 2007; Schildkamp, 2019; Weick, 1995) of ‘betekenisgeving’. Dit betekenisgevingsperspectief diende als lens om aspecten van datagebruik en datageletterdheid onder de loep te nemen. Op basis van interviewgegevens zoomden we in op de gebruikersvaliditeit (Kane, 2013; MacIver et al., 2014) van authentieke SPF. We stellen dat misvattingen bij SPF-rapporten ten dele verklaard kunnen worden door een discrepantie tussen de referentiekaders van SPF-aanbieders en SPF-gebruikers. We onderzochten ook de attributies (Wang & Hall, 2018; Weiner, 1985) van leerkrachten en schoolleiders voor schoolprestaties. De vele uiteenlopende factoren die vermeld werden, en verschillen in attributie naargelang functie, illustreren dat het formuleren van een diagnose niet eenvoudig is. Verder gebruikten we survey-data om op basis van de Theory of Planned Behavior (Ajzen, 1991) na te gaan hoe factoren op gebruikersniveau en op schoolniveau samenhangen met SPF-gebruik. De perceptie van een gezamenlijke doelgerichtheid op schoolniveau komt naar voren als een belangrijke drijfveer.

Door in te zoomen op de wijze waarop leerkrachten en schoolleiders aan de slag gaan met SFB op externe gestandaardiseerde toetsen, bevindt dit proefschrift zich op het raakvlak van onderwijseffectiviteitsonderzoek en onderzoek rond schoolontwikkeling. Centrale bevindingen illustreren het belang van het betrekken van gebruikers bij het ontwerp van SPF, het herdenken van het concept van datageletterdheid, en het stimuleren van collectieve betekenisgeving in schoolteams.

Referenties:

Ajzen, I. (1991). The theory of planned behavior. Organizational Behavior and Human Decision Processes, 50(2), 179–211.

Bertrand, M., & Marsh, J. A. (2015). Teachers’ sensemaking of data and implications for equity. American Educational Research Journal, 52(5), 861–893.

Datnow, A., Park, V., & Kennedy-Lewis, B. (2012). High school teachers’ use of data to inform instruction. Journal of Education for Students Placed at Risk (JESPAR), 17(4), 247–265.

Kane, M. (2013). The argument-based approach to validation. School Psychology Review, 42(4), 448–457.

Klein, G., Phillips, J. K., Rall, E. L., & Peluso, D. a. (2007). A data-frame theory of sensemaking. In R. R. Hoffman (Ed.), Expertise Out of Context - Proceedings of the Sixth International Conference on Naturalistic Decision Making (pp. 113–155). Lawrence Erlbaum Associates.

MacIver, R., Anderson, N., Costa, A.-C., & Evers, A. (2014). Validity of Interpretation: A user validity perspective beyond the test score. International Journal of Selection and Assessment, 22(2), 149–164.

Rossi, P. H., Lipsey, M. W., & Freeman, H. E. (2004). Evaluation: A Systematic Approach. (7th ed.). Sage Publications.

Schildkamp, K. (2019). Data-based decision-making for school improvement: Research insights and gaps. Educational Research, 61(3), 257–273.

Van Gasse, R., Vanhoof, J., Mahieu, P., & Van Petegem, P. (2015). Informatiegebruik door schoolleiders en leerkrachten. Garant.

Vanlommel, K., Van Gasse, R., Vanhoof, J., & Van Petegem, P. (2017). Teachers’ decision-making: Data based or intuition driven? International Journal of Educational Research, 83, 75–83.

Wang, H., & Hall, N. C. (2018). A systematic review of teachers’ causal attributions: Prevalence, correlates, and consequences. Frontiers in Psychology, 9(DEC), 1–22.

Weick, K. E. (1995). Sensemaking in Organizations. Sage Publications.

Weiner, B. (1985). An attributional theory of achievement motivation and emotion. Psychological Review, 92(4), 548–573.