Tags


Blog overzicht

Blog

Invoer met tag interventie onderzoek.

Knollen voor citroenen verkopen oftewel causaliteit uit correlaties persen

 

Ik ben van huis uit experimenteel psycholoog. Ik heb goed het verschil geleerd tussen correlatie en causaliteit en ben opgevoed met goed gecontroleerde interventieonderzoeken met een controlegroep. Alleen op basis daarvan mag ik een uitspraak doen over de effecten en soms ook over de gevolgen van een interventie. Ik word wel eens voor ouderwets versleten omdat ik hierop blijf hameren, zeker met de nieuwerwetse hang naar onderzoek in de praktijk waarbij – zonder controlegroepen – nieuwe, state of the art statistische technieken zoals structural equation modelling gebruikt worden als een soort vervanging van een goed experimenteel design. 
 
Wat voelde ik mij heerlijk en ook gesterkt na lezing van een artikel in de Journal of Educational Psychology, waarin de auteurs [1] schetsen hoe onderzoekers en toptijdschriften op een glibberige helling terecht zijn gekomen en artikelen produceren respectievelijk publiceren met discutabele oorzakelijke beweringen op basis van observationeel en/of correlationeel (obs/cor) onderzoek; blijkbaar meent men dat statistische technieken kunnen worden gebruikt waarvan de daarin aanwezige statistisch causale modellering werkelijke causaliteit kan/mag bewijzen. In hun woorden: “men maakt gebruik van modellen die eigenlijk bedoeld zijn om slecht passende modellen te verwerpen en niet om causale hypothesen te bevestigen” (p. 243). Zij vroegen zich af of hedendaagse onderzoekers geloven dat statistisch modelleren een toverdrank is die meer met hun data kan doen dan eigenlijk mogelijk is; oftewel causaliteit uit correlationele data persen.
 
De auteurs analyseerden ook vier recente jaargangen (1999, 2000, 2009, 2010) van vijf top onderwijspsychologische tijdschriften en vonden er een (1) afname in interventieonderzoek, (2) toename in obs/cor onderzoek, (3) toename van populariteit van statistisch modelleren om obs/cor data te analyseren, en (4) toe-name van prescriptieve uitspraken op basis van zulke obs/cor analyses. 
 
Als algemene richtlijn voor onderzoekers stellen zij voor om Graesser en Hu’s [2] TONS toe te passen. De T is temporality (tijdelijkheid): de oorzaak moet ALTIJD voor het gevolg komen. De O is operativity (operationaliteit): de tijd tussen de introductie van de oorzaak en het optreden van het gevolg MOET redelijk en/of theoretisch onderbouwd zijn. De N is necessity (noodzakelijkheid): er moet bewijs komen/zijn dat zonder de oorzaak het gevolg NIET plaatsvindt. De S is sufficiency (toereikendheid): de oorzaak is aanwezig voor het tot stand komen van het gevolg “when circumstances continue as usual.”
 
Als onderzoeker verkoop je geen knollen voor citroenen en pers je geen causaliteit uit correlatie.
  1. Reinhart, A. L., Haring, S. H., Levin, J. R., Patall, E. A., Robinson, D. H. (2013). Models of not-so-good behavior: Yet another way to squeeze causality and recommendations for practice out of correlational data. Journal of Educational Psychology, 105, 241-247.
  2. Graesser, A. C., & Hu, X. (2011). Commentary on causal prescriptive statements. Educational Psychology Review, 23, 279–285.
Deze blog staat ook in COTimes de tweemaandelijkse nieuwsbrief van Campus Orleon   http://www.campusorleon.nl
Zie ook mijn blogs op http://onderzoekonderwijs.net/author/paulkkirschner/
Ik ben ook te volgen op Twitter: @P_A_Kirschner

 

1 resultaat getoond.