Voor mijn studie aan de OU ben ik me aan het verdiepen in wat evidence-based onderzoek is. Traditionele onderzoekmethoden zoals experimenteel onderzoek kennen criteria op basis waarvan wetenschappers een onderzoek kunnen beoordelen, denk aan validiteit, generaliseerbaarheid en betrouwbaarheid. Maar de resultaten van interventies in de praktijk van het onderwijs zijn niet eenvoudig te meten, een controle-groep kan vaak om ethische redenen niet worden gebruikt. Bij het doornemen van mijn rss-feeds, dat heb ik al geruime tijd niet gedaan, kwam ik een onderzoek tegen van het SCO-Kohnstamm Instituut “Leren met effect; rapportage van het onderzoek“, waarbij men om eerder genoemde reden, gebruik heeft gemaakt van quasi-experimenteel onderzoek. Bij het doorlezen kwam ik de naam Dynarski tegen. Deze naam ben ik eerder tegengekomen in een handleiding, voor het voorkomen van schooluitval. Een panel, onder voorzitterschap van Mark Dynarski heeft een groot aantal onderzoeken beoordeeld en doet op basis van deze onderzoeken uitspraken over wat werkt (evidence) bijhet voorkomen van schooluitval. Bij de beoordeling wordt gebruik gemaakt van de standaarden van “What Works Clearinghouse” (WCC), een overheidsinstelling dat wetenschappelijke bewijzen verzamelt van wat werkt in het onderwijs. In de Verenigde Staten is het overheidsbeleid om te spreken van “strong evidence’ als het onderzoek voldoet aan de eerder genoemde criteria voor wetenschappelijkheid.
- Meets Evidence Standards for randomized controlled trials and regression discontinuity studies that provide the strongest evidence of causal validity;
- Meets Evidence Standards with Reservations for all quasi-experimental studies with no design flaws and randomized controlled trials that have problems with randomization, attrition, or disruption;
- Does Not Meet Evidence Screens for studies that do not provide strong evidence of causal validity.
Het eerder genoemd onderzoek van het SCO-Kohnstamm instituut streeft er ook naar om “sterk” bewijs te leveren van wat werkt als ict wordt toegepast in het onderwijs, het was een voorwaarde:
effectieve en efficiënte wijze wordt ingezet in het VO en tegelijkertijd onderzocht kan worden
welke bijdrage ict daaraan daadwerkelijk levert. Duidelijk moet worden wat wel en niet werkt
zodat de scholen zelf, maar ook andere scholen op basis van ‘evidence’ beslissingen kunnen
nemen over de inzet van ict bij de verdere ontwikkeling van hun onderwijs. Een eis voor
deelname aan de regeling was dan ook dat de vernieuwing op een zodanige wijze werd vorm
gegeven dat het mogelijk was op een verantwoorde wijze onderzoek te doen naar de effecten
van de vernieuwing.
Dat lijkt dus sterk op het beleid van de V.S.
Men kan zich afvragen of op deze strikte wijze verkregen ‘evidence’ voldoet aan de behoefte van de praktijk. Staat het niet te ver af van de praktijk? Een opmerking uit het onderzoekrapport: “de randvoorwaarden waaronder het onderzoek moest worden uitgevoerd hebben ertoe geleid dat het verrichte implementatie-onderzoek zeer globaal is geweest”.
