Tags


Blog overzicht

Items met tag onderzoek.

Er zijn geen resultaten.

Blog

Invoer met tag onderzoek.

Truth or Truthiness in Onderzoek

Truth or truthiness?

Deze blog schreef ik oorspronkelijk voor het septembernummer van het bladDidactief  onder de titel “Waar of waarheidsachtig” waar ik tweemaandelijks iets schrijf over m.i. spraakmakend wetenschappelijk onderzoek en wat de betekenis daarvan is in/voor het onderwijs. Deze is iets uitgebreider dan wat in Didactief verscheen.

Is een onderzoek betrouwbaar of lijkt het alleen zo? Stephen Colbert – Amerikaanse komiek – bedacht het mooie woord ‘truthiness’, dat in het Nederlands nauwelijks in een woord te vangen is, maar zoiets betekent als: iets dat aannemelijk klinkt en waar mensen aan vast willen houden zonder rekening te (willen) houden met feiten, logica of ander tegensprekend bewijs. Dit ‘waarheidsachtig’ is heel iets anders dan ‘trustworthy’ (betrouwbaar). Ik constateer, helaas dat de conclusies die wetenschappers trekken uit hun onderzoek – en soms het onderzoek zelf – eerder waarheidsachtig dan betrouwbaar zijn.

In zijn artikel ‘Een voorstel voor het beoordelen of onderzoeksresultaten betrouwbaar zijn’ vertelt Stephen Gorard op welke punten je kunt letten om te bepalen of een onderzoek betrouwbaar is. “Simpel gezegd, een slecht beschreven onderzoek is niet te vertrouwen.” Vaak wordt onderzoek aangegrepen als bewijs dat iets ingevoerd kan of moet worden. Maar dan moet je wel zeker weten dat het onderzoek te vertrouwen is. Om dat te doen moet je kijken naar:

Ontwerp: Je moet erop aan kunnen  dat wat de onderzoeker deed de uitkomst heeft veroorzaakt. Ofwel of er sprake is van causaliteit: een directe oorzaak-gevolg relatie tussen wat uitgeprobeerd werd en het resultaat daarvan. Aan verbanden (correlaties) heb je weinig. Ongeveer alle moordenaars hebben melk gedronken toen zij kind waren (100% correlatie), maar je kan echt niet concluderen dat als je melk drinkt je later een moordenaar wordt. De ‘gouden standaard is onderzoek waar de deelnemers willekeurig in groepen geplaatst worden en waar alles in de groepen hetzelfde is behalve de interventie (wij noemen dit gerandomiseerd onderzoek met controlegroep; Engels: Randomized Controlled Trial). Dat is het beste omdat je dan weet dat zaken als voorkeur van de docent, geslacht, motivatie om iets te doen of wat dan ook misschien de echte reden is dat iets heeft gewerkt.

Schaal: In het algemeen geldt: Hoe meer deelnemers, hoe betrouwbaarder. Als een onderzoeker op basis van een studie met 10 deelnemers (N=10) beweert dat haar/zijn ingreep de oorzaak is van een geweldige uitkomst moet je echt achter je oor krabben. En let op: een studie die 30 scholen (waar 9.000 leerlingen zitten) in twee groepen verdeeld heeft, waar de scores van alle leerlingen verzameld en vergeleken worden, is een studie met een N van 30 en niet van 9.000. Want niet de scores van de leerlingen worden vergeleken, maar de gemiddelden van de scholen, met bijvoorbeeld als conclusie dat  scholen die de lessenreeks invoerden significant hoger scoorden op de Cito-toets dan de scholen die de oude aanpak gebruikten.

Uitval: Vertelt de onderzoeker ook hoeveel deelnemers over bleven? Het aantal uitvallers en de verdeling daarvan over groepen kan behoorlijke gevolgen hebben voor de conclusies die je kan/mag trekken. Bijvoorbeeld, als er veel uitval is in de ‘ingreepgroep’ kan het betekenen dat alleen de zeer gemotiveerde leerlingen overbleven en zegt het onderzoek dus niets over hoe het in jouw klas zal werken.

Datakwaliteit: De data moeten natuurlijk, zonder meer betrouwbaar zijn. Daarnaast, moeten (1) de metingen herhaalbaar zijn en (2) als verschillende mensen iets meten/beoordelen zij het allemaal op dezelfde wijze doen. Wij vakidioten noemen punt 1 validiteit (de mate waarin een test meet wat hij zou moeten meten). Als een onderzoeker zegt dat iets geleerd is, moet het niet zo zijn – zoals ik heel vaak zie – dat dit op basis is van wat leerlingen zeggen/menen geleerd te hebben. Vaak zijn het de onderzoekers zelf die leerlinggedrag of gemaakte schrijfopdrachten beoordelen. Probleem is dat zij meestal niet onbevooroordeeld zijn en dus mogelijk zien en beoordelen wat zij willen zien

Tot slot noemt Gorard een aantal bedreigingen waarvan de sterkste zijn dat de mensen die beoordelen (1) niet onafhankelijk zijn (bijv. de onderzoeker zelf is een beoordelaar) en (2) weten van welke groep waar de te beoordelen opdracht vandaan kwam (dus ze zijn niet ‘blind’ voor de interventie).

Om de lezer te helpen heeft Gorard een ‘zeef’ gemaakt met zes categorieën (ontwerp, schaal, uitval, uitkomsten, nauwkeurigheid, geldigheid) om de betrouwbaarheid van een onderzoek goed in te schatten, elk met vijf niveaus van kwaliteit (van 0 sterren naar 4 sterren). De betrouwbaarheid van een onderzoek wordt bepaald door de laagste beoordeling in een kolom.

Ontwerp
Schaal
Uitval
Uitkomsten
Nauwkeurigheid
Geldigheid
Score
Eerlijk
Groot
Geen of nauwelijks
Vooraf bepaald, gestandaardiseerd, onafhankelijk
Interventie duidelijk, gelijke behandeling
Geen andere bedreigingen
4∗
Gebalanceerd
Gemiddeld
Een beetje e/o gelijk per groep
Vooraf bepaald maar niet gestandaardiseerd en/of niet onafhankelijk
Interventie duidelijk, onbedoelde ongelijkheid
Weinig andere bedreigingen
3∗
Gematcht
Klein
Gematigd e/o ongelijk
Niet vooraf bepaald maar toch valide
Interventie niet duidelijk, ongelijke behandeling
Bewijs van bedreigingen
2∗
Niet goed vergelijkbaar
Zeer klein
Veel e/o zeer ongelijk
Problemen met validiteit of geschiktheid
Slecht beschreven interventie
Veel bewijs voor bedreigingen
1∗
Geen info
Triviaal of niet gemeld
Niet gemeld of te veel
Zwakke metingen, teveel uitkomsten of lage betrouwbaarheid
Interventie niet of nauwelijks beschreven
Geen rekening met bedreigingen
0∗

Omdat in deze zeef, hoe betrouwbaar een onderzoek is wordt bepaald door de laagste beoordeling in een kolom, een studie die eerlijk en grootschalig is met nauwelijks uitval en gestandaardiseerde uitkomsten maar waar de ingreep onduidelijk beschreven is of waar de behandeling ongelijk is (bijv. de groep die de ingreep kreeg studeerde tweemaal zo lang als de controle) krijgt alleen een 2∗.

Probeer dit zelf de volgende keer dat je een artikel of verslag leest!

Gorard, S. (2014) A proposal for judging the trustworthiness of research findings.Radical Statistics, 110, 47-60. http://www.radstats.org.uk/no110/Gorard110.pdf

Volg mij ook op Twitter: @P_A_Kirschner

Rekentoetsen-met-contexten toetsen geen rekenen

Hier volgt een stuk geschreven door Ben Wilbrink en mij als bijdrage aan de discussie over "De Rekentoets", en vooral om leden van de Tweede Kamer en de Staatssecretaris. Het is hoogste tijd om een andere koers te varen en goed na te denken over wat rekenen is en hoe wij deze instrumentele vaardigheid moeten toetsen.  

De staatssecretaris wil doorgaan met de huidige rekentoetsen bij de eindexamens VO en MBO. Maar deze rekentoetsen toetsen geen rekenen, want rekenen - iets dat je zelf moet doen en dat behoort tot de instrumentele vaardigheden van alle burgers - mag bij deze toetsen met de rekenmachine! De klemmende vraag is dan: Wat toetst de rekentoets wel? Voor het antwoord hoeven wij niet te kijken naar de Commissie-Bosker, omdat die niet verder kwam dan aanbevelingen om van alles makkelijker te maken zonder aan te geven waarom precies de rekentoetsen zo moeilijk blijken te zijn, en in het bijzonder ook waarom zoveel moeilijker voor havisten dan voor vwo-ers. Er is dus nog werk aan de winkel; en veel!

Door het Cito beschikbaar gemaakte voorbeeldrekentoetsen laten zien dat kandidaten tientallen problemen ‘uit het dagelijks leven’ voorgelegd krijgen. De achterliggende gedachte is dat op school alleen maar leren rekenen niet garandeert dat men later die rekenvaardigheid ook zal gebruiken in ‘situaties uit het dagelijks leven’. Dat klopt, die garantie is er niet, ook niet voor de kennis opgedaan in andere vakken trouwens. Is dat erg? Nee, want na school gaat het leren natuurlijk door. Nogal algemene schoolse kennis vraagt voortdurend aanpassing aan nieuwe situaties. Maar voorwaarde hiervoor is dus dat de algemene schoolse kennis überhaupt opgedaan, c.q. aanwezig is. Kirschner, Sweller en Clark hebben in een aantal wetenschappelijke maar ook vakdidactische artikelen duidelijk gemaakt dat om problemen in het rekenen op te kunnen lossen, je geen problemen moet leren oplossen maar moet leren rekenen! In, bijvoorbeeld, een artikel in Didactief (Nr 5 / mei 2011, p. 30-31) schrijven zij: “Er vallen dus géén algemene probleemoplossende strategieën te leren. Vertaald naar het wiskundeonderwijs: we kunnen van leerlingen alleen effectieve wiskundige probleemoplossers maken als we ze voeden met grote hoeveelheden wiskundige schema’s [lees: eerst goed leren rekenen], kennis en op wiskundige problemen gerichte strategieën”. Daarna kunnen wij kinderen helpen leren die kennis toe te passen ‘in situaties uit het dagelijkse leven’. Dat laatste is nog een lastige opgave. In de psychologie heet dat het probleem van transfer, maar ook zonder zo moeilijk te doen kunnen we gewoon constateren dat er sprake is van leerprocessen, van verder leren.

Deze rekentoetsen met ‘situaties uit het dagelijks leven’ testen dus het vermogen om te leren: gebruik makend van opgedane rekenvaardigheid deze zo aanpassen dat de voorgelegde contextopgaven ermee zijn te maken. Is dit een legitiem doel van het voortgezet onderwijs, dan? Het gaat om een examensituatie waarin kandidaten zelfstandig moeten werken: het leren is hier (zelf)ontdekkend leren. Is het vermogen tot dit soort leren een legitiem doel van het voortgezet onderwijs? Om het artikel in Didactief weer te citeren: “Hoewel sommige briljante wiskundigen zonder adequate instructie in staat zijn gebleken om wiskundeproblemen te leren oplossen door zelf de oplossingen te ontdekken, is zo’n aanpak nooit de meest effectieve of efficiënte methode om leerlingen wiskunde te leren. Dus niet de manier voor de ‘doorsnee’ leerling”. Als dit, op zich, geen effectieve of efficiënte leerstrategie is, is het testen van dat vermogen dan een legitiem eindexamenonderdeel? Ons inziens zijn dit vragen die nu een dringend antwoord behoeven. De Commissie-Bosker geeft dat antwoord niet, de brief van 13 juni van staatssecretaris Sander Dekker aan de Tweede kamer evenmin. Ons voorstel is nu dat vanuit de psychologie er een expert opinion over wordt gegeven; denk aan wetenschappers als Borsboom, Van der Maas, Taatgen, Zwaan, Kirschner. Nog beter is dat de staatssecretaris tegelijk opdracht geeft om een degelijk experimenteel cognitief-psychologisch onderzoek te (laten) doen naar de aard van de kennis en vaardigheden die nodig zijn voor het beantwoorden van de contextopgaven in deze rekentoetsen.

Er zijn trouwens al spijkerharde gegevens voorhanden. Het Cito rapporteerde voor een klein aantal vragen de foutenanalyses voor HAVO en VWO, voor zover gegeven antwoorden dat toelaten (kladpapier wordt vernietigd, ongelooflijk maar waar). Het College voor Examens (CvE) rapporteerde de voorlopige testresultaten van de examenkandidaten 2014 (in percentages voldoende): BB 38,4, KB 39,2, GL/TL 54,9, HAVO 45,3, VWO 87,6. Totaal: 54,4 procent voldoende. Het verschil tussen HAVO en VWO is circa 40 procentpunt. Dat verschil kan door allerlei reparaties zoals door de Commissie-Bosker voorgesteld wel iets veranderen, maar zo’n verschil zal er blijven zolang deze rekentoets het karakter heeft van een test op intellectuele capaciteiten c.q. het vermogen om goed te kunnen lezen, in plaats van een doeltreffend voor te bereiden toets op rekenvaardigheden. En dat laatste kan best, zoals het eerste deel van de rekentoets-3S van de Commissie-Van de Craats laat zien. Nee, het is geen oplossing om voor havisten de lat dan maar te laten zakken: dat zou een erkenning zijn dat deze rekentoets een intelligentietest is. Het CvE heeft deze erkenning trouwens al gegeven: de lat ligt voor de vmbo-opleidingen nu al op verschillende hoogten, voor dezelfde toets dus.

We draaien het nu even om. Rekenen is geen raketwetenschap. Deze rekentoets in de eindexamens moet doeltreffend zijn voor te bereiden, anders deugt er iets fundamenteel niet. Dit is de eis die A. D. de Groot in 1970 onder woorden bracht, en die Job Cohen (1981) in zijn proefschrift Studierechten in meer juridische termen vertaalde. Bij doeltreffende voorbereiding komen kandidaten met ongeveer dezelfde slaagkansen op voor dit examen. Maar dan moeten gemiddelde resultaten van HAVO en VWO aan elkaar gelijk zijn! Zolang daar licht tussen zit — op dit moment een verschil van 40 procentpunt! — is dat een harde aanwijzing dat de rekentoetsen niet valide zijn. Ze deugen gewoon niet. Wat niet uitsluit dat het rekenonderwijs niet deugt. We moeten dolgraag willen weten waar hem dat precies in zit, maar de Commissie-Bosker heeft niet eens de vraag gesteld. Toch is het een kwaliteitseis (#1.8 in de Standards for Educational and Psychological Testing) te weten welke de cognitieve processen van de examenkandidaten zijn, en daar moet wetenschappelijke onderbouwing voor gegeven zijn. Als Cito en CvE hier in gebreke blijven, moet er langs andere weg aan worden gewerkt.

De crux van dit al is dat deze contextopgaven (en de toetscondities) een zo grote mentale belasting opleveren dat de informatieverwerking de bottleneck vormt. Veel kandidaten slagen er te vaak niet in om alle informatie goed te verwerken (46 procent scoort onvoldoende). Nu is daar wel iets aan te doen met maatregelen zoals door de Commissie-Bosker aanbevolen. Veronderstel dat al die maatregelen zijn genomen, dan bestaan de rekentoetsen nog steeds uit contextopgaven. Wat deze toetsen dan meten, is het vermogen om uit de gegeven context en de vraagstelling te redeneren naar het bedoelde rekenmodel (en dat met de rekenmachine uit te rekenen). Tenzij de contexten zo kinderachtig worden dat ze beter achterwege kunnen blijven, blijven het vragen die een grote mentale belasting opleveren. Op zich hoeft dat voor een examen natuurlijk geen probleem te zijn. Maar wanneer er een kloof in slaagpercentage blijft tussen havisten en VWO-ers, betekent het dat deze rekentoetsen geen rekenvaardigheid toetsen, maar verschillen in mentale belastbaarheid meten. Wat we nu graag precies willen weten, zowel kwalitatief als kwantitatief: op welke manieren leveren deze contextopgaven mentale belasting op. Hoeveel informatie moet tegelijk verwerkt worden, en is dat ook voor goede rekenaars in feite niet te veel informatie? Dit zijn niet zulke lastige vragen, en er is een behoorlijke hoeveelheid onderzoekliteratuur beschikbaar. De antwoorden hadden dus al bekend moeten zijn, er zijn toch al een paar commissies met dat rekenen-in-contexten in de slag geweest?

Een simpele les uit de cognitiewetenschap leert ons dat het werkgeheugen van de mens zeer klein is. Hoewel de wetenschappers geen exact getal kunnen geven menen zij dat als het om nieuwe informatie gaat, dat het 4 of 5 eenheden informatie bevat. Daarom zijn lange, ingewikkelde opgaven moeilijker te begrijpen dan korte; tegen het einde van zo’n opgave is de capaciteit van het werkgeheugen gewoon overbevraagd — de mentale belasting is te hoog. Hoe meer expertise — dus meer cognitieve schema’s beschikbaar — des te beter de kandidaat meer ingewikkelde zinnen aan kan. Maar zijn de contexten telkens nieuw, dan is er op dat punt geen expertise om op terug te vallen. Dan zijn er natuurlijk ook persoonlijke verschillen in geheugencapaciteit, waardoor de ene kandidaat kwetsbaarder is voor overlading van het werkgeheugen dan de andere. Al met al geen wonder dat de scores op deze rekentoetsen zo laag zijn, met zo’n groot verschil tussen HAVO en VWO.

Ben Wilbrink is onderwijsonderzoeker zonder institutionele binding, En ik, ik ben hoogleraar Onderwijspsychologie aan het Welten-instituut van de Open Universiteit.

Hier volgen enige referenties naar interessante "ondersteuningsstukken"

  • D. Borsboom & K. A. Markus (2013). Truth and evidence in validity theory. Journal of Educational Measurement, 50(1), 110-114. [Special Issue: Validity] http://onlinelibrary.wiley.com/doi/10.1111/jedm.12006/abstract
  • D. Borsboom, G. J. Mellenbergh & J. H. van Heerden (2004). The concept of validity. Psychological Review, 111, 1061-1071. http://goo.gl/eIhwGL
  • H. L. J. van der Maas, D. Molenaar, G. Maris, R. A. Kievit & D. Borsboom (2011). Cognitive psychology meets psychometric theory: on the relation between process models for decision making and latent variable models for individual differences. Psychological Review, 118, 339-356. http://psycnet.apa.org/?&fa=main.doiLanding&doi=10.1037/a0022749 (abstract)
  • Paul A. Kirschner, John Sweller and Richard E. Clark (2006). Why Minimal Guidance During Instruction Does Not Work: An Analysis of the Failure of Constructivist, Discovery, Problem-Based, Experiential, and Inquiry-Based Teaching. Educational Psychologist, 41, 75-86.
  • http://www.cogtech.usc.edu/publications/kirschner_Sweller_Clark.pdf
  • Paul A. Kirschner, Richard E. Clark, and John Sweller (november 2012). Helemaal uitleggen of zelf laten ontdekken? Onderzoek spreekt voor volledig begeleide instructie. Van Twaalf Tot Achttien, 14-16. http://dspace.ou.nl/bitstream/1820/4771/1/Van12-18%20-%20november2012%20-%20Helemaal%20uitleggen%20of%20zelf%20laten%20ontdekken%20-%20KSC.pdf
  • John Sweller, Richard Clark en Paul Kirschner (2010). Teaching General Problem-Solving Skills Is Not a Substitute for, or a Viable Addition to, Teaching Mathematics. Notices of the American Mathematical Society, 57, 1303-1304. http://www.ams.org/notices/201010/rtx101001303p.pdf
  • Richard Clark, Paul Kirschner & John Sweller (Spring 2012). Putting Students on the Path to Learning. The Case for Fully Guided Instruction. American Educator, 6-11. http://www.aft.org/pdfs/americaneducator/spring2012/Clark.pdf
  • Wim J. van der Linden (2002). On complexity in CBT [Computer Based Testing, b.w.]. In C. N. Mills, M. T. Potenza, J. J. Fremer, & W. C. Ward (Eds.), Computer-based testing. Building the foundation for future assessments (pp. 89-102). Erlbaum. [als e-Book te leen bij KB] http://goo.gl/c1bkBI (Google preview)
  • Niels Taatgen (2013). The Nature and Transfer of Cognitive Skills. Psychological Review, 120, 439-471. http://www.ai.rug.nl/~niels/publications/2013-19654-001.pdf
  • Ben Wilbrink (1983). Toetsvragen schrijven. Utrecht, Het Spectrum, Aula 809. In herziening: Toetsvragen ontwerpen. http://benwilbrink.nl/projecten/toetsvragen.1.htm
  • Ben Wilbrink (2014). Al die teksten in onze eindexamens, waar komt dat fenomeen toch vandaan? Kan Sander Dekker precies 75 L zand in een kruiwagen scheppen? Van Twaalf Tot Achttien, Vakblad voor Voortgezet Onderwijs, 24, 28-30. Versie met notenapparaat: http://benwilbrink.nl/projecten/hoorzitting_4-12-2013_situationisme.htm#noten
  • Ben Wilbrink, Denny Borsboom en Michel Couzijn (2010). Spelling, grammatica en interpuntie meebeoordelen op eindexamens? Tweede Kamer motie van de leden Jan Jacob van Dijk en Jasper van Dijk. Examens, Tijdschrift voor de Toetspraktijk, 7 #3, 5-9. http://www.ben-wilbrink.nl/EXAMENSCOMPLEET_sept_2010.pdf
  • Ben Wilbrink & Joost Hulshof (2011). De wet, het rekenen, en de rekentoets in de eindexamens havo/vwo. Invoering van de rekentoets havo/vwo in 2014. Examens, Tijdschrift voor de Toetspraktijk, 8 #3, 18-22.  http://www.ben-wilbrink.nl/ex-11-3.pdf 
    Repliek en dupliek: http://www.ben-wilbrink.nl/zwitser_beguin_2011_wilbrink_hulshof.pdf
  • Ben Wilbrink, Joost Hulshof & Henk Pfaltzgraff (2012). Examens, Tijdschrift voor de Toetspraktijk, 9 #3, 26-31. http://www.ben-wilbrink.nl/wilbrink_hulshof_pfaltzgraff_2012_De_rekentoetsen_3F_zijn_niet_valide.pdf
    Officiële repliek van het CvE, dupliek http://www.cve.nl/document/artikel_examens_rekentoetsen_vo
  • Rolf A. Zwaan and Michael P. Kaschak (2009). Language in the brain, body, and world. http://goo.gl/yGnmQL In Philip Robbins & Murat Aydede: The Cambridge Handbook of Situated Cognition. Cambridge University Press.
Houdbaar als verse vis? Onderwijswetenschappelijk onderzoek niet!!

Denkend over mijn tweemaandelijkse bijdrage aan Didactief viel mij – letterlijk – iets in. Door de brievenbus viel het jubileumnummer van Pedagogische Studiën (op de omslag staat 90e jaargang 1919-2013; intrigerend). Dit jubileumnummer staat in het teken van een aantal toonaangevende artikelen uit hun archief. Dus in plaats van de nieuwste onderzoekspublicaties tegen het licht te houden heb ik ervoor gekozen om wat oudjes te bespreken.

Het eerste is een verkorte versie van een artikel van Révész en Hazewinkel uit 1923 en betreft een onderzoek dat in een hedendaags tijdschrift niet zou misstaan. Het artikel Over de didactische waarde van de projectlantaarn en de bioskoop zou net zo goed en heel eigentijds 'Over de didactische waarde van statische en dynamische beelden' kunnen heten. De auteurs laten zien dat informatie aangeboden door statische (stilstaande) beelden na een week beter werd onthouden dan informatie in een film. Dit sluit, bijvoorbeeld, aan bij onderzoek van Salomon uit de jaren tachtig van de vorige eeuw waaruit bleek dat leerlingen van 'moeilijke media' (ofwel media als teksten of stilstaande beelden waar ze zelf de relaties moest leggen) beter leren en meer onthouden dan van 'makkelijke media' als video en film, waar ze weinig voor moeten doen. Dit onderzoek werd ook in Nederland door Johannes Beentjes gerepliceerd. Verder heeft Pieter Wouters onderzoek gedaan naar doorlopende animaties versus animaties die de lerende stop kon zetten (de laatste leverde beter leren op). Révész en Hazewinkel besluiten hun artikel met acht conclusies, onder meer over de relatie tussen leerlingkenmerken en leren van media. Zij eindigen met de waarschuwing dat de 'propaganda van de zoogenaamde groote didactische waarde van de film niet te rechtvaardigen [is]'.

Wat dat ons vandaag nog kan leren? Ten eerste: hoewel bewegende beelden vaak sexyer zijn dan stilstaande, hebben ze alleen een positief effect als ze een functie hebben. Anders leiden de seductive details (verleidelijke details) alleen maar af, waardoor het leren belemmerd wordt. Ten tweede: door het leren zogenaamd 'makkelijker' te maken, werken wij het diepe leren tegen. Inspanning mag en moet, wil je leren.

Radicalisme
En wat te denken van een artikel uit 1925 van J.H. Gunning Wz: Welke houding moet een vooruitstrevend onderwijzer aannemen tegenover nieuwe theorieën en praktijken?, een bewerking van een oorspronkelijk Engelstalig artikel van S.G. Noble. Gunning spreekt van 'een altijd wassenden stroom van paedagogische en didaktische nieuwigheden' afkomstig van de 'paedagogische afdeelingen van onze groote universiteiten' en stelt, anno 2013 nog steeds herkenbaar: 'Nieuwe leuzen, nieuwe methoden en nieuwe reorganisatieplannen worden uitgegeven en verspreid, sneller dan de onderwijzers ze kunnen lezen.'

Gevolg hiervan, schrijft hij, is dat 'onderwerpen van groot belang en verre strekking dikwijls weinig de aandacht trekken, terwijl dingen van weinig belang meer aandacht krijgen dan zij verdienen. Zulk een toestand baart òf scepticisme òf radicalisme.' Gunning komt tot de conclusie dat zowel conservatief vasthouden aan het oude als meegaand met alle nieuwe hypes de juiste houding is. Naar zijn mening (in 1925!) moet de docent kritisch en open staan tegenover innovaties, maar die alleen toepassen na zorgvuldige bestudering. En liefst door de oude aanpak niet overboord te gooien, maar de nieuwe in te passen in het bestaande repertoire.

Als politici, schoolbesturen en schoolleiders zich hier iets van hadden aangetrokken, hadden wij een aantal onderwijsmislukkingen als het studiehuis en het nieuwe leren misschien kunnen voorkomen. En waren de leraren een stuk minder sceptisch en innovatiemoe dan nu het geval is. Gunning sluit zijn artikel af met een citaat van Evenius: 'Stulta haec invidia est, cui cuncta recentia sordent, invida stultitia est, cui nova sola placent.' Oftewel: 'Dat is een dwaze afgunst, die al wat jong en nieuw is, minderwaardig acht; en dat is een afgunstige dwaasheid, die alleen in het nieuwe behagen schept.'

Wijze – en actuele – woorden. Hopelijk leren wij daar alsnog van.

Referenties

Beentjes, J. W. J. (1989). Learning from television and books: A Dutch replication study based on Salomon's model. Educational Technology Research and Development, 37(2), 47-58.

Gunning Wz., J. H. (1925). Welke houding moet een vooruitstrevend onderwijzer aannemen tegenover nieuwe theorieën en praktijken? Pedagogische Studiën, 6, 53-60.

Révész, G., & Hazewinkel, J. F. (1923). Over de didactische waarde van de projectielantaarn en de bioskoop. Pedagogische Studiën, 4, 33-67.

Salomon, G. (1984). Television is “easy” and print is “tough”: The differential investment of mental effort in learning as a function of perceptions and attributions. Journal of Educational Psychology, 76, 647-658.

Wouters, P. J. M. (2007). How to optimize cognitive load for learning from animated model. PhD Thesis, Open Universiteit Nederland.

Vog mij op Twitter @P_A_Kirschner

Deze blog verscheen in verkorte vorm op de website van Didactief: http://www.didactiefonline.nl/component/content/article/47-uncategorised/11782-houdbaar-als-verse-vis

 

Evidence-based: De nieuwe heilige graal?

 

Ik begin deze stream-of-consciousness (en mogelijk foutenvolle) blogpost na een gesprek met een wetenschapsjournaliste over een radioprogramma over ‘evidence-based onderwijs’. Haar uitgangspunt was dat ik een tegenstander van evidence-based was. Ik probeerde haar uit te leggen dat ik echte problemen heb met evidence-based, maar niet met handelen op basis van solide bewijs. Ook niet met het idee dat je keuzes in het onderwijs moet maken op basis van het best beschikbare bewijs. Wij bespraken het verschil tussen ‘alledaagse waarnemen ’ en ‘wetenschappelijk waarnemen’ (Ton Derksen), het verwarren van doel (bv. competentiegericht onderwijs) en middel (bv. het studiehuis), en hoe epistemologie en didactiek door elkaar lopen waarbij men vaak de eerste probeert te gebruiken als de laatste. Ik legde ook uit dat mijn standpunt was: Wat je in wil invoeren in het onderwijs moet gebaseerd zijn op goed wetenschappelijk onderzoek. In het gesprek – trouwens een zeer goed gesprek – kwam zij een paar keer terug met “maar het klinkt alsof jij eigenlijk een voorstander bent van evidence-based”. 
 
Ik probeerde uit te leggen dat het geen kwestie van voor of tegen is. Dat het anders / subtieler is. Men wil al te snel de discussie simplificeren naar voor en tegen: “If you’re not with us, then you’re against us!” Dit werd gebruikt door Nixon bij de tegenstanders van de oorlog in Vietnam en door Bush bij welk kritisch geluid dan ook over zijn beleid. Men vindt het makkelijk en ook overzichtelijk om meningen en mensen in kampen in te delen. Helaas!
 
Maar wat is het dan? Waar sta ik op deze kwestie?
 
Ik ben een voorstander van het doen van goed onderzoek (lees: onderzoek dat op theorie gebaseerd is en volgens wetenschappelijke methoden uitgevoerd wordt) en het handelen naar de resultaten daarvan (lees: op basis van hard bewijs). Waar ik geen voorstander van ben is het gebruik van evidence-based als een keurmerk; als een soort heilige graal voor het onderwijs. “If it’s evidence-based, then it works!” Zo’n keurmerk willen politici, bestuurders, en beleidsmakers al te graag. Als je iets dat evidence-based is invoert, dan zal het werken. Als het niet werkt is het de schuld, dus, van een andere. Maar dat is echt te simpel.
 
Onderwijs is geen farmacie en doceren is niet doseren. Hoe een pil werkt en of die werkt is afhankelijk van veel dingen (bv. leeftijd, gewicht, wanneer en hoe vaak je de pil slikt, of je die slikt op een nuchtere maag of niet…) maar niet wie de pil aan je geeft. Hoe en of het evidence-based onderwijs werkt is ook afhankelijk van veel dingen (bv. leeftijd, klas, domein…) maar OOK van wie het onderwijs verzorgt. De beste didactiek ter wereld kan vernietigd worden door een slechte docent(e) en een krakkemikkige didactiek kan tot leren leiden overgebracht door een goede docent(e).
 
En hier ligt de crux. Evidence-based geeft niet de garantie die men zoekt. Goede docenten daarentegen wel. Maar wat is een goede docent(e)? In mijn ogen is een goede docent(e) iemand die:
  1. beschikt over zeer veel en zeer diepgaand kennis van het domein dat zij/hij doceert. Een goede docent(e) beheerst het domein waarin zij/hij doceert op een conceptueel / abstract niveau. Dit geldt niet alleen op VWO-niveau maar op alle niveaus. Realistisch rekenen is niet per definitie goed of slecht, maar het kan alleen goed werken (hier parafraseer ik collega Theo Wubbels bij het afscheid van Koeno Gravemeijer van de UU) als de leerkracht de wiskundige concepten die onder het rekenen zitten beheerst. Als de leraar niet snapt waarom delen door een fractie gelijk is aan vermenigvuldigen met de inverse daarvan, kan zij/hij nooit zorgen voor kernvragen waardoor het kind kan reflecteren op zijn eigen handelen (Realistisch Rekenprincipe 3: Reflectie op eigen producties) laat staan een adviserende en ondersteunende rol spelen bij het uitvoeren en oplossen van de rekenopdrachten (Realistisch Rekenprincipe 4: Interactieve karakter van het leerproces).
  2. beschikt over een uitgebreide eigen persoonlijk professionele theorie (PPT; met dank aan Harmen Schaap voor deze term) van pedagogisch-didactisch handelen die bijna dagelijks geüpdate wordt. Deze PPT is gebaseerd enerzijds op onderwijskundige en onderwijspsychologische kennis en inzichten opgedaan in de opleiding en het bijhouden van het vak (i.e., levenlang leren) en anderzijds op het wetenschappelijk waarnemen, analyseren en interpreteren van haar/zijn dagelijks handelen in de klas en de resultaten daarvan. Alleen met een goed ontwikkelde PPT en een wetenschappelijke houding tegenover wat je ziet en ervaart is het mogelijk om goed na te gaan waarom iets dat “had moeten werken” niet werkte of waarom het niet werkte bij bepaalde leerlingen of in jouw situatie. Het voorkomt ook attributie; dat wil zeggen: Als zij het hebben geleerd heb ik goed lesgegeven en als zij het niet hebben geleerd hebben zij niet goed opgelet!
  3. in staat is deze eigen PPT van pedagogisch-didactisch handelen toe te passen in haar/zijn handelen in de klas. Met andere woorden, het toepassen van kenmerken 1 en 2 in het onderwijs/lesgeven.
Om een einde te breien aan deze meanderende blogpost het volgende. Evidence based is geen keurmerk. Evidence-based (in de geneeskunde) houdt in “het expliciet, oordeelkundig en consciëntieus gebruikmaken van het beste beschikbare bewijs bij het maken van een keuze”. En dit bewijs hoort verkregen te worden door goed wetenschappelijk onderzoek. Dat wil zeggen onderzoek met duidelijke onderzoeksvragen, echte hypothesen die getoetst kunnen worden, een goed gecontroleerd interventie met een zinvolle controle conditie, duidelijke verwachtingen die objectief gemeten kunnen worden, enzovoorts. Goed onderwijsbewijs is een hulpmiddel om een degelijke keuze te maken en niet een garantie voor onderwijssucces!

 

Een beetje wetenschap is gevaarlijk!

Ik kom terug van vakantie en lees in een landelijk dagblad dat scholen moeten experimenteren met gescheiden lessen voor jongens en meisjes. In elk geval, dat meent de voorzitter van de Besturenraad, de vereniging van 540 christelijke schoolbesturen met 2200 scholen. Volgens deze voorzitter is zo’n scheiding “een probaat middel tegen de achterstand van jongens in het onderwijs.” Tot mijn verbazing meent de minister van onderwijs dat dit “het onderzoeken waard is”! Mijns inziens hebben deze twee de klok horen luiden, maar weten ze allebei niet waar de klepel hangt. Wat wij weten, is dat de hersenen van jongens en meisjes zich verschillend ontwikkelen. Wij weten ook dat de verschillen binnen deze groepen veel groter zijn dan de verschillen tussen de groepen, maar dat ontgaat deze twee beleidmakers/-bepalers. Om zonder die kennis meteen de conclusie te trekken dat het nuttig is of kan zijn om jongens en meisjes gescheiden les te gaan geven, gaat dan veel te ver en te snel. Want wat zou de volgende stap kunnen zijn? Begin van de schooldag bepalen op basis van melatonine-niveaus, omdat wij weten dat bij pubers de hormonale ontwikkeling hierin een verschuiving brengt? Een beetje wetenschap lijkt echt gevaarlijk te zijn!

Gisteren een week geleden (ik schrijf dit op een zondagochtend in Exeter, een dag na de sluiting van EARLI 2011) hoorde ik in een sessie een wetenschapper rapporteren over een onderzoek naar de eenvoud en begrijpelijkheid van wetenschappelijke argumenten/boodschappen en hoe overtuigend ze zijn; overtuigend wat betreft de boodschap en overtuigend wat betreft hoe zeker de ontvanger ervan is dat hij of zij de boodschap kan begrijpen én evalueren. De presentatie eindigde met de boodschap: als de wetenschap “te” begrijpelijk is, dan menen leken dat wat er verkondigd wordt ook eenvoudig is (lees: dat het eenvoudig lijkt) en dus – ik vertaal het in lekentermen – dat wetenschappelijke boodschappen beter onbegrijpelijk voor leken gecommuniceerd kunnen worden! Ik moest in eerste instantie hierover heel hard lachen, maar nadenkend op een zondagochtend denk ik dat die onderzoekster misschien wel gelijk heeft! 

5 resultaten getoond.