< Terug naar vorige pagina

Project

Verbetering van de prestaties van vwo-leerlingen op academische synthesistaken met Level up Instructions & Feedback Tool (LIFT)

Context

Dit proefschrift is uitgevoerd in het kader van het LIFT-project. Het LIFT-project (Verbetering van de prestaties van pre-universitaire studenten in academische synthesetaken met Level-up Instructies en Feedback Tool) is een project dat wordt gefinancierd door de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO). Het doel van het project was om studenten uit de bovenbouw van het vwo feedback en instructie te geven op het schrijven van syntheseteksten; dit op basis van nationale baseline gegevens.

Het is belangrijk dat studenten in het hoger secundair onderwijs hun vaardigheid in het schrijven van syntheseteksten ontwikkelen, aangezien het schrijven van syntheseteksten een veelvoorkomende activiteit is in het hoger onderwijs. Onafhankelijk van het vakgebied zullen alle studenten tijdens hun academische loopbaan meerdere syntheseteksten schrijven. Zoals Van Ockenburg, Van Weijen en Rijlaarsdam (2018) aangeven, oefenen leerlingen syntheseschrijven enkel impliciet bij het schrijven van een essay, maar over het algemeen is het geen schrijfactiviteit die expliciet wordt onderwezen op Nederlandse scholen.

Het schrijven van syntheseteksten -teksten die informatie uit verschillende bronnen integreren- is complex, gezien de cognitief veeleisende aard van deze taak (Martínez et al., 2015; Mateos et al., 2008; Solé et al., 2013). Het proces van bron-gebaseerd schrijven, zoals het schrijven van syntheseteksten, omvat zowel lezen als schrijven, wat Spivey en King (1989) ertoe bracht om het als een hybride taak te bestempelen. De complexiteit van het schrijven van syntheseteksten vraagt niet om een eenvoudige "eerst‑lezen‑dan‑schrijven"-strategie. Het gaat veeleer om een complex samenspel van lees- en schrijfprocessen. Tijdens het schrijfproces wisselen de studenten de rol van lezer en schrijver af terwijl ze bronnen lezen, relevante informatie uit de bronnen selecteren, de informatie uit de verschillende bronteksten met elkaar vergelijken en contrasteren, en de eigenlijke tekst schrijven en reviseren. Centraal in het schrijven van syntheseteksten staat het integratieproces. Integreren houdt in dat de ideeën uit de verschillende bronteksten met elkaar verbonden worden door ze te organiseren en te structureren rond een centraal thema in de brononafhankelijke doeltekst (Solé et al., 2013; Spivey & King, 1989).

Doelstellingen

Dit proefschrift is opgebouwd rond drie onderzoekslijnen: (1) een nationale baseline studie, (2) proces‑productrelaties, en (3) procesgerichte feedback. De eerste onderzoekslijn beoogt een stand van zaken op het gebied van syntheseschrijven in het Nederlandse hoger secundair onderwijs en een baseline voor toekomstig onderzoek. Het bestaat uit een nationale peiling naar syntheseschrijven op drie dimensies: schrijfprestaties, schrijfprocessen en perspectieven op schrijven. De tweede onderzoekslijn beoogt het verkennen van de relatie tussen het schrijfproces en de kwaliteit van de tekst. Deze onderzoekslijn bestaat uit twee subdoelen: ten eerste hebben we ons gericht op het brongebruik tijdens het proces en hoe dit zich verhoudt tot de kwaliteit van de synthesetekst; ten tweede hebben we procesprofielen geïdentificeerd. Het schrijfproces werd vastgelegd en geanalyseerd met de keystroke logging tool Inputlog (Leijten & Van Waes, 2013). De derde en laatste onderzoekslijn focust op procesgerichte feedback. Er werd een Inputlog procesrapport ontwikkeld dat het gebruik van keystroke logging in de klascontext faciliteert. Bovendien hebben we ons gericht op het ontwikkelen van procesgerichte feedback, gebaseerd op het procesrapport van Inputlog en benchmarkprocessen, om de synthesevaardigheid van de leerlingen in het hoger secundair onderwijs te verbeteren.

Dit proefschrift schetst het pad van de baseline studie, over schrijfproces-productrelaties, naar feedback op het schrijfproces. De focus ligt sterk op de schrijfprocessen van synteseteksten, waarbij gebruik wordt gemaakt van keystroke logging.

Overzicht van de studies

Dit proefschrift bevat vijf studies: een nationale baseline studie, een studie naar brongebruik, een profielstudie naar schrijfprocessen, een methodologisch deel over een rapportfunctie binnen keystroke logging, en een interventiestudie met procesgerichte feedback.

De nationale baseline studie (Het schrijven van syntheseteksten in verschillende leerjaren van het Nederlandse secundair onderwijs in kaart gebracht: Een nationale baseline studie over tekstkwaliteit, schrijfprocessen en schrijfperspectieven van studenten) levert een baseline over syntheseschrijven op drie dimensies: tekstkwaliteit, schrijfprocessen en schrijfperspectieven van studenten. De effecten van leerjaar, geslacht en genre (argumentatieve/informatieve synthese) op de drie dimensies werden onderzocht. Het onderzoek bestaat uit een nationaal peilingsonderzoek met een grote en representatieve steekproef van 658 studenten uit 43 scholen in Nederland. De deelnemers waren studenten uit de bovenbouw van het secundair onderwijs (vwo 4, 5 en 6). Ze schreven meerdere teksten. Het taakontwerp was gericht op het maximaliseren van de generaliseerbaarheid, aangezien de nationale peiling een stand van zaken wilde bieden omtrent het schrijven van syntheseteksten. De taken werden beoordeeld met behulp van een beoordelingsschaal met benchmark teksten. Schrijfprocessen werden gelogd en geanalyseerd met keystroke logging software Inputlog. De perspectieven van de studenten op schrijven (gevoel ten opzichte van schrijven, opvattingen over schrijven, geloof in eigen kunnen en schrijfprocesstijl) werden gemeten met een vragenlijst (gebaseerd op Braaksma, 2002; Kieft et al., 2007; Rijlaarsdam & Schoonen, 1988; White & Bruning, 2005). De resultaten gaven aan dat leerjaar een effect had op de kwaliteit van de tekst, het schrijfproces en de schrijfperspectieven. Geslacht had invloed op het schrijfproces en de schrijfperspectieven. Voor de factor genre werden effecten gevonden op zowel de kwaliteit van de tekst als het schrijfproces. Naast de beschrijving van de stand van zaken omtrent syntheseschrijven, had deze studie ook als doel een baseline voor verder onderzoek bieden. Deze nationale peilingsstudie vormde de basis voor de andere studies in dit proefschrift en biedt mogelijkheden voor toekomstige studies.

In een studie naar brongebruik, Op zoek naar een effectief patroon van brongebruik voor het schrijven van argumentatieve en informatieve syntheseteksten, hebben we de relatie tussen brongebruik tijdens het schrijfproces en de kwaliteit van de synthesetekst verkend. Voor deze studie is gebruik gemaakt van een steekproef van 294 teksten en processen uit de baseline. Het brongebruik is gemeten door drie variabelen: de proportie tijd die in de bronnen wordt doorgebracht, het aantal switches per minuut tussen de bronnen, en het aantal switches per minuut tussen de synthesetekst en de bronnen. Via polynomiale regressieanalyses werd op een geïntegreerde manier rekening gehouden met de verschillende brongerelateerde activiteiten en hun tijdsverdeling (timing in het proces) om patronen van effectief brongebruik te identificeren. Voor elk van de twee synthesegenres is een regressiemodel van brongebruik gebouwd dat de kwaliteit van de tekst voorspelt. Het patroon van de argumentatieve synthesetekst bestaat uit drie voorspellende variabelen die 24.6% van de variantie in tekstkwaliteit verklaren. Dit patroon omvat een positieve curvilineaire relatie met tekstkwaliteit voor proportie tijd in bronnen in het eerste interval; een positieve lineaire relatie voor het aantal switches per minuut tussen synthesetekst en bronnen in het eerste interval; en een negatieve lineaire relatie voor de proportie tijd in bronnen in het derde en laatste interval. Het patroon voor een goede informatieve synthesetekst heeft ook drie voorspellende variabelen, die 16.2% van de variantie in de kwaliteit van de tekst verklaren. De kwaliteit van een informatieve synthese heeft een positieve lineaire relatie met het aantal switches per minuut tussen de bronnen in het eerste interval; een negatieve lineaire relatie met het aantal switches per minuut tussen de bronnen in het derde interval; en een positieve curvilineaire relatie met de proportie tijd in de bronnen in het derde interval. De bevindingen van dit onderzoek leverden waardevolle inzichten op die werden gebruikt om procesgerichte feedback te ontwikkelen.

In een andere studie naar relaties tussen schrijfproces en product, getiteld Dynamische schrijfprocesconfiguraties in synthesetaken, identificeerden we schrijfprocesprofielen. Voor deze studie is de volledige steekproef van de baseline gebruikt. Het belangrijkste doel van deze studie was het identificeren van schrijfprofielen door het onderzoeken van configuraties van schrijfactiviteiten in verschillende fasen van het schrijfproces en hun relatie tot de kwaliteit van de synthesetekst. We hebben een set van negen schrijfprocesvariabelen geselecteerd: vijf variabelen gerelateerd aan brongebruik (proportie tijd in de bronnen voor de intervallen 1 en 3, aantal switches per minuut tussen de bronnen in de intervallen 1 en 2, aantal switches per minuut tussen de synthesetekst en de bronnen in interval 2) en vier variabelen gerelateerd aan productie (proportie actieve schrijftijd in de intervallen 1 en 3, en het aantal toetsaanslagen per minuut in de intervallen 1 en 2). Deze variabelen zijn gekozen op basis van eerder onderzoek, zoals de nationale baseline studie en de studie naar brongebruik. Latente profielanalyse werd gebruikt om schrijfprocesprofielen te identificeren op basis van de negen keystroke logging variabelen. Er zijn vier verschillende schrijfprocesprofielen te onderscheiden: Brongebruikers, Snelle Brongebruikers, Snelle Schrijvers en Einde-proces Broncheckers. De resultaten laten zien dat het Snelle Schrijfproductie profiel de kwaliteit van de tekst significant voorspelt. Het Einde-proces Broninspectie profiel leidde tot de laagst scorende teksten. Het succesvolle Snelle Schrijvers profiel wordt gekenmerkt door een benedengemiddeld brongebruik en is zeer sterk gericht op tekstproductie. De Snelle Schrijvers scoren bovengemiddeld voor zowel de actieve schrijftijd als de productiesnelheid over het gehele schrijfproces. Ook bleek uit analyses dat de meerderheid van de schrijvers twee verschillende schrijfprocesprofielen vertoonde, wat betekent dat schrijvers hun schrijfproces op een andere manier organiseren, afhankelijk van de taak. De intra-schrijver variabiliteit heeft geen invloed gehad op de kwaliteit van de tekst. We vonden aanwijzingen dat taakpercepties (onderwerpskennis en moeite die de student in de taak heeft gestoken) een invloed hebben op het voorkomen van een bepaald taakprofiel.

In de studie Rapportage van schrijfprocesgerichte feedback in de klas: keystroke logging data inzetten om te reflecteren op schrijfprocessen, rapporteren we over een nieuw ontwikkelde functie in Inputlog, de zogenaamde 'Inputlog rapport-functie'. Deze functie genereert automatisch een pdf-bestand met verschillende perspectieven op het schrijfproces: schrijfvlotheid, pauzegedrag, revisie en brongebruik. Dit rapport is bedoeld om het voor docenten mogelijk te maken om procesgerichte feedback te geven aan hun studenten. Het onderzoek beschrijft het procesrapport en laat zien hoe het in de klas kan worden gebruikt als onderdeel van feedback die reflectie op het schrijfproces bevordert. Dit rapport werd gebruikt in een interventiestudie om feedback te geven op het schrijfproces van de deelnemers.

Het effect van procesgerichte feedback op het schrijven van syntheseteksten: Een interventiestudie met keystroke logging, rapporteert een interventiestudie waarin feedback gegeven wordt op het schrijfproces. Deze studie had als doel het effect te testen van empirisch onderbouwde feedback op het schrijfproces. In totaal kregen 65 studenten in twee feedback-condities feedback op twee momenten binnen één week tijd. Deelnemers ontvingen persoonlijke informatie over hun eerdere schrijfproces aan de hand van het Inputlog feedbackrapport. Bovendien kregen ze benchmark schrijfprocessen te zien (geselecteerd uit de nationale baseline studie) ten opzichte van hun eigen prestaties (d.w.z. processen van gelijk scorende studenten in de positie-conditie, en processen van hoger scorende studenten in de feed-forward conditie). We onderzochten de perceptie van de studenten op de feedback en het effect van de feedback op zowel de schrijfprestaties als het schrijfproces van de studenten. De schrijfprestatie werd gemeten in termen van tekstkwaliteit. Voor het schrijfproces werd rekening gehouden met een aantal keystroke logging maten; de variabelen werden geselecteerd op basis van de nationale baseline studie en de studie over brongebruik. De vooruitgang die de leerlingen boekten door de feedback (feedback-effect) hebben we vergeleken met de vooruitgang die leerlingen gemiddeld maken in een schooljaar (leerjaar-effect). Om deze vergelijking te maken gebruikten we de data van de nationale baseline als controlegroep. De resultaten toonden aan dat de feedback in het algemeen als duidelijk werd ervaren, en de meeste elementen van het Inputlog procesrapport werden geëvalueerd als vrij leerzaam, nuttig en duidelijk. De studenten namen over het algemeen ook de tijd om te reflecteren op hun schrijfproces. Ze gaven ook aan dat ze bij het schrijven van een nieuwe tekst de terugdachten aan de benchmark processen van de feedback. Wat betreft het effect van de feedback op de kwaliteit van de tekst, is de feedback in de feed-forward conditie significant: de deelnemers aan deze conditie schreven betere teksten na het verwerken van de feedback. De feedback in de feed-forward conditie had een effect dat vergelijkbaar is met meer dan één jaar regulier onderwijs. Met betrekking tot het effect op het schrijfproces concludeerden we dat de feedback een effect had op verschillende aspecten van het schrijfproces, en dat het effect verschilde naar gelang de feedbackconditie. Bij het vergelijken van het feedback-effect met het leerjaar-effect werden grote verschillen waargenomen. Over het algemeen was het feedback-effect groter dan het leerjaar-effect.

Implicaties

Dit proefschrift draagt bij aan het huidige onderzoek naar het schrijven van syntheseteksten door (1) een baseline te bieden met schrijfproduct- en schrijfprocesdata, (2) het inzicht in het schrijfproces van syntheseteksten en in de relatie tussen schrijfproces en tekstkwaliteit te vergroten, en (3) effectieve procesgerichte feedback te ontwikkelen om de syntheseschrijfvaardigheid van studenten te verbeteren. We hopen dat de studies en de discussie van dit proefschrift een waardevolle bijdrage leveren aan het huidige keystroke logging onderzoek en mogelijk richting kunnen geven aan toekomstig schrijf(proces)onderzoek en schrijfonderwijs.

Datum:8 mrt 2019 →  18 sep 2020
Trefwoorden:writing, keystroke logging, feedback
Disciplines:Linguïstiek niet elders geclassificeerd
Project type:PhD project