Wat moet je kunnen?
- Uitleggen waarom onderzoekers een onderzoek herhalen, en wat de replicatiecrisis is
- Redenen herkennen waarom een onderzoek niet repliceert (toeval, een kleine groep, verwachtingen, publicatiebias)
- Uitleggen hoe onderzoekers hun onderzoek betrouwbaarder maken, met preregistratie
Wat denk jij?
In les 3 deed je klas het experiment van Asch over de eerste indruk opnieuw: twee rijen met dezelfde woorden, in een andere volgorde.
Bekijk de uitleg
In de meeste klassen geeft groep A een positiever cijfer dan groep B, zoals bij Asch. Soms is het verschil klein, of zelfs omgekeerd. Dat bewijst nog niet dat Asch ongelijk had: een klas is een kleine groep, en dan speelt het toeval een grote rol. Eén leerling die slecht gezind is, kan het gemiddelde al veranderen.
Wil je weten of een resultaat klopt, dan moet je het onderzoek herhalen, liefst met veel meer mensen. Dat is het onderwerp van deze les.
Waarom onderzoek herhalen?
Eén onderzoek bewijst nog niet veel. Misschien was het toeval, misschien maakte de onderzoeker een fout, misschien gold het alleen voor die ene groep studenten. Daarom herhalen andere onderzoekers een onderzoek, op dezelfde manier, met andere proefpersonen. Dat heet replicatie (hoofdstuk 3, les 9).
Komt er telkens hetzelfde uit, dan wordt het resultaat steeds betrouwbaarder. Het experiment van Asch met "warm" en "koud" bijvoorbeeld werd al vaak herhaald, ook met een echte gastdocent in plaats van een lijstje woorden.
Een onderzoek dat niet repliceerde
In 1996 publiceerde de Amerikaanse psycholoog John Bargh een beroemd experiment. Studenten moesten zinnen maken met woorden. Bij de ene groep gingen die woorden over ouderdom (zoals "grijs", "rimpel", "bingo"), bij de andere niet. Daarna maten de onderzoekers met een stopwatch hoe snel de studenten door de gang naar de lift stapten. De groep met de woorden over ouderdom stapte trager, zonder het zelf te merken.
In 2012 herhaalden psychologen van de Université libre de Bruxelles (Stéphane Doyen en zijn collega's) dat experiment. Ze maten de snelheid niet met een stopwatch, maar met infraroodsensoren in de gang. Resultaat: geen verschil tussen de groepen.
Daarna deden ze iets slims. Ze lieten het experiment uitvoeren door proefleiders die met een stopwatch maten, en vertelden een deel van hen wat er "moest" uitkomen. Alleen bij de proefleiders die verwachtten dat de proefpersonen trager zouden stappen, stapten ze ook trager.
Bekijk de uitleg
De proefleiders beïnvloedden het resultaat, waarschijnlijk zonder het zelf te merken: ze drukten de stopwatch net iets later in, of gedroegen zich anders tegenover de proefpersonen (trager praten, rustiger zijn). Hun verwachting maakte zichzelf waar: een selffulfilling prophecy, zoals bij Rosenthal en Jacobson. Daarom weet de proefleider in een goed experiment vaak zelf niet in welke groep een proefpersoon zit.
De replicatiecrisis
Bargh was geen uitzondering. In 2015 herhaalden 270 onderzoekers uit de hele wereld samen honderd psychologische onderzoeken uit bekende tijdschriften. Bij de oorspronkelijke onderzoeken had bijna elk een duidelijk resultaat gevonden. Bij de herhalingen was dat maar ongeveer een derde. En waar ze wel iets vonden, was het effect vaak veel kleiner.
De replicatiecrisis is de ontdekking dat veel bekende resultaten uit de psychologie (en uit andere wetenschappen) niet opnieuw gevonden worden als andere onderzoekers het onderzoek herhalen.
Dat betekent niet dat alle psychologie onzin is. Veel resultaten repliceren wel, zoals het omstanderseffect en het conformisme in het experiment van Asch met de lijnen (hoofdstuk 7). Maar het toont dat je één onderzoek, zeker een verrassend onderzoek met weinig proefpersonen, niet blind mag geloven. Ook het onderzoek van Rosenthal en Jacobson (les 7) werd vaak herhaald: verwachtingen van leerkrachten hebben een effect, maar het is kleiner dan Rosenthal dacht.
Waarom mislukt een replicatie?
- Een kleine groep. Met twintig proefpersonen kan het toeval een verschil maken dat er eigenlijk niet is. Met duizend proefpersonen veel minder.
- De verwachtingen van de onderzoeker. Zoals bij Doyen: wie weet wat er moet uitkomen, beïnvloedt het resultaat.
- Zoeken tot je iets vindt. Een onderzoeker meet tien dingen, en schrijft alleen over het ene ding waar een verschil uitkwam. Bij tien metingen vind je bijna altijd wel iets, gewoon door toeval.
- Publicatiebias. Tijdschriften en kranten publiceren graag een verrassend resultaat ("Woorden over ouderdom doen je trager stappen!"), maar zelden een onderzoek waar niets uitkwam. Zo krijgen we een te mooi beeld.
Bekijk de uitleg
- Kleine groep: met twaalf leerlingen kan het verschil toeval zijn.
- Verwachtingen: de leerkracht verbetert misschien, zonder het te willen, mild bij de leerlingen van de nieuwe methode. Beter: hij weet niet wie in welke groep zat.
- Zoeken tot je iets vindt: bij twintig metingen vind je bijna altijd één verschil door toeval.
- Publicatiebias: het nieuws geeft een vertekend beeld, omdat de tien onderzoeken zonder resultaat niet gepubliceerd werden.
Beter onderzoek
Sinds de replicatiecrisis werken veel onderzoekers anders:
- Ze werken met grotere groepen, vaak samen met onderzoekers in andere landen.
- Ze maken hun gegevens openbaar, zodat anderen kunnen nakijken of de berekeningen kloppen.
- Ze registreren hun onderzoek vooraf.
Preregistratie betekent dat onderzoekers hun hypothese, hun methode en hoe ze de resultaten zullen verwerken openbaar vastleggen voor ze de gegevens verzamelen. Zo kunnen ze achteraf niet meer zoeken tot ze iets vinden.
Voor jou als lezer van het nieuws: is het één onderzoek, of bevestigen meerdere onderzoeken het? Met hoeveel mensen? Is het herhaald?
Portfolio, deel 6: mijn preregistratie
Bekijk een voorbeeld
- Hypothese: leerlingen die een woordenlijst studeren met muziek met tekst, onthouden minder woorden dan leerlingen die in stilte studeren.
- Proefpersonen: minstens 30 per groep (twee klassen), willekeurig verdeeld.
- Meting: het aantal juiste woorden op een toets van 20 woorden, 10 minuten na het studeren.
- Wanneer klopt de hypothese? Als de stiltegroep gemiddeld minstens 2 woorden meer juist heeft.
- Verwachtingen: een klasgenoot die niet weet wie in welke groep zat, verbetert de toetsen.
Klaar met de les?
Download al je antwoorden van deze pagina als PDF. De PDF kan je indienen via de uploadzone in Smartschool, als je leerkracht dat gevraagd heeft. Heb je een antwoord aangepast nadat je de uitleg had geopend, dan staan je eerste antwoord en elke aanpassing erin.