Onderzoeksproject 6HUM - Fase 4 les 2: Je meetinstrument

Wat moet je kunnen?

Vandaag

Wat denk jij?

Hoe zeker ben je van je antwoord?
Bekijk de uitleg

Na drie metingen weet niemand nog welk blad bij welke conditie hoort. Dan is al het werk waardeloos: je kunt de condities niet meer vergelijken. Daarom staat op elk blad de conditie, al voor je begint te noteren.

Wat is onderzoeksmateriaal?

Onderzoeksmateriaal is alles wat je in handen hebt op de dag dat je meet: het blad waarop je turft, de brief voor de ouders, het briefje met instructies voor de leerkracht, het rekenblad waarin je straks je cijfers zet. Het is invuldocument 3, vertaald in papier en bestanden. Staat je telregel niet op je observatieblad, dan bestaat die telregel op het moment van de meting niet.

Materiaalstuk Voor wie of waarvoor? Verplicht?
1. Je meetinstrument: observatieblad, vragenlijst, toets met scoresleutel of registratieblad Voor wie meet, scoort of invult. Altijd
2. Je instructie voor de uitvoerder (het "script") Voor wie de ingreep uitvoert. Altijd bij een experiment
3. Je informatiebrief en toestemmingsformulier Voor de deelnemers, en bij minderjarigen ook hun ouders. Altijd
4. Je lege rekenblad Voor jullie zelf, om de ruwe gegevens in te voeren. Altijd
5. Je stimulusmateriaal: de tekst, de afbeelding, de opdracht Voor de deelnemers. Als je onderzoek dat gebruikt
6. Je interviewleidraad Voor jezelf, om je resultaten achteraf te laten verklaren. Alleen als aanvulling

Je dient je materiaal in voor je het gebruikt, en je krijgt er feedback op. Een fout in je ontwerp kun je nog rechtzetten; een fout in je materiaal kost je je gegevens.

Je materiaal is af als iemand anders het kan gebruiken zonder jou iets te vragen: tijdens je meting kun je niets meer uitleggen. Geef het aan een klasgenoot uit een andere groep, zeg er niets bij, en vraag of die weet wat ermee te doen.

Wat op elk meetinstrument staat

Je meetinstrument legt je afhankelijke variabele vast. Welk soort het ook is, deze zeven dingen staan erop:

  1. de werktitel van je onderzoek en de datum;
  2. de naam van wie het invult: een waarnemer, een verbeteraar, of een deelnemerscode;
  3. de groep en de conditie (met of zonder ingreep);
  4. je meetregel, letterlijk uitgeschreven: wat telt mee, wat niet, hoe scoor je;
  5. genoeg ruimte om te noteren, met een logische opdeling;
  6. een vak voor het totaal of de eindscore;
  7. een vak voor opmerkingen: alles wat ongewoon was.

Schrijf nooit namen van deelnemers op je instrument: werk met codes, of meet op groepsniveau. Wat je niet noteert, kun je ook niet lekken.

Welk instrument past?

Wat wil je vastleggen? Instrument Wat wordt je cijfer?
Gedrag dat je zelf ziet gebeuren: praten, opsteken, afdwalen, helpen Observatieblad met turflijst Een aantal per tijdseenheid
Wat mensen zelf zeggen of vinden: motivatie, beleving, inschatting Vragenlijst met schalen Een score per deelnemer
Wat mensen kunnen of presteren: kennis, snelheid, aantal fouten Toets, taak of opdracht met scoresleutel Een score of een tijd
Sporen die er al zijn: ingediende taken, fouten in een tekst, aanwezigheden Registratieblad Een aantal per eenheid
Waarom mensen iets deden: alleen als aanvulling, nooit als hoofdmeting Interviewleidraad Citaten, geen cijfers

De test voor elk instrument: geef het aan twee mensen, laat hen onafhankelijk dezelfde situatie scoren, en vergelijk. Verschillen hun cijfers, dan ligt dat niet aan hen: dan is je meetregel nog niet scherp genoeg. Dat geldt voor een turflijst, maar even goed voor een toets ("is dit antwoord half juist?") of een vragenlijst ("wat betekent hier: soms?").

Welk meetinstrument past bij deze afhankelijke variabele?

  1. Hoe vaak leerlingen hun vinger opsteken tijdens de uitleg

  2. Hoe gemotiveerd leerlingen zich voelen na de les

  3. Hoeveel woorden Frans leerlingen onthouden

  4. Hoeveel taken er te laat werden ingediend in de voorbije maand

Bekijk de uitleg

Gedrag dat je ziet, turf je. Wat mensen zelf ervaren, vraag je. Wat ze kunnen, toets je. Sporen die er al zijn (zoals ingediende taken), registreer je.

Een observatieblad

Je turft gedrag dat je ziet gebeuren. Je telregel staat letterlijk bovenaan het blad, en je turft in tijdvakken van tien minuten.

Tijdvak Turven Aantal
0 – 10 min
10 – 20 min
...
Totaal

Waarom tijdvakken? Dan weet je achteraf niet alleen hoeveel er gepraat werd, maar ook wanneer. Zit het verschil tussen je condities helemaal in het laatste kwartier, dan is dat een interessante vaststelling voor je discussie, en die zou je met één groot turfvak nooit gezien hebben. Een model van een observatieblad vind je op de pagina van fase 4, onder Taken.

Een vragenlijst

Een vragenlijst lijkt de makkelijkste weg, maar het is de moeilijkste: een slechte vraag levert cijfers op die er betrouwbaar uitzien en niets betekenen.

Regel Waarom? Fout / beter
Eén vraag meet één ding Wie het oneens is met de helft van je vraag, kan niet antwoorden. Fout: Vond je de les leuk en nuttig? Beter: twee aparte vragen.
Stuur niet Een vraag mag het antwoord niet in de mond leggen. Fout: Vond je het niet vervelend dat er zoveel gepraat werd? Beter: Hoe ervaarde je de rust tijdens de uitleg?
Overal dezelfde schaal Anders kun je de antwoorden niet optellen of vergelijken. Bijvoorbeeld overal vijf punten.
Woorden bij je schaalpunten "3 op 5" betekent voor iedereen iets anders; "soms" niet. Fout: 1 – 2 – 3 – 4 – 5. Beter: nooit / zelden / soms / vaak / altijd.
Dezelfde richting Een omgekeerde vraag moet je voor het optellen hercoderen, en dat vergeet iedereen. Links altijd het minst positieve antwoord, rechts het meest positieve.
Nummer je vragen V1, V2, V3 ... worden de kolommen van je rekenblad. Zonder nummers weet je bij het invoeren niet meer welke kolom welke vraag was.
Vraag niets wat je niet nodig hebt Elke persoonsvraag moet je daarna beveiligen. Geen naam, klas of geboortedatum, tenzij je onderzoek dat echt vraagt.
In beide condities dezelfde vragen Anders meet je het verschil tussen je vragen, niet tussen je condities. Zelfde formulering, zelfde volgorde, zelfde schaal.

Begin je vragenlijst met een korte uitleg: waarover het gaat, dat er geen goede of foute antwoorden zijn, dat de deelnemer geen naam invult, en waarvoor je de antwoorden gebruikt.

Test je vragenlijst op drie mensen. Laat drie klasgenoten ze invullen, en vraag bij elke vraag: wat dacht je dat hier gevraagd werd? Krijg je drie verschillende antwoorden, dan is die vraag stuk. Vraag ook hoelang ze erover deden: meer dan vijf minuten is te veel.

Bekijk de uitleg

De vraag stuurt ("vind je ook niet"), en ze meet twee dingen tegelijk (complimenten en straffen). Beter, als twee aparte vragen met een schaal: "V1. De leerkracht zegt wat er goed gaat." en "V2. De leerkracht straft wie stoort.", telkens met nooit / zelden / soms / vaak / altijd.

Een toets of een prestatie

Meet je wat deelnemers kunnen, dan is niet de taak je instrument, maar de scoresleutel die erbij hoort.

Opdracht 3: tekst samenvatten (op 4)
4 Alle drie de kernideeën staan erin, in eigen woorden, in hoogstens drie zinnen.
3 Alle drie de kernideeën staan erin, maar er is letterlijk overgeschreven, of het is te lang.
2 Twee van de drie kernideeën staan erin.
1 Eén kernidee staat erin, of de samenvatting geeft de tekst verkeerd weer.
0 Niets ingevuld.

Spreek ook de grensgevallen vooraf af: een spelfout telt niet mee, een kernidee dat in een voorbeeld verstopt zit, telt wél mee.

Bestaande sporen, en een interview

Een registratieblad. Soms heeft het gedrag al sporen nagelaten: ingediende taken, fouten in een tekst, aanwezigheden. Definieer je eenheid (wat is precies één fout?), leg een even lange periode vast voor beide condities, en noteer de bron van elk cijfer. Ook bestaande gegevens over mensen zijn persoonsgegevens: vraag toestemming, en werk met codes. Je weet niet onder welke omstandigheden die cijfers ontstonden: noem dat als beperking.

Een interviewleidraad, als aanvulling. Een interview levert citaten op, geen cijfers: het kan nooit je afhankelijke variabele zijn. Wel kan het je resultaten helpen verklaren, in je discussie. Schrijf vaste open vragen uit, met per vraag een doorvraag, en interview pas na de meting, anders verklap je waar je onderzoek over gaat.

Werktijd

  1. Download de opdrachtfiche onderzoeksmateriaal en de modellen van de pagina van fase 4, onder Taken.
  2. Maak je meetinstrument, met de zeven dingen erop en je meetregel letterlijk.
  3. Test het uit: twee mensen scoren apart dezelfde situatie. Noteer in de fiche wat misliep en wat je aanpaste.