Ny teknik bakom rättvisare och smartare prov
Hur kan vi uppnå mer rättvisa och precisa prov? Ny forskning visar hur avancerad statistik kan göra prov som högskoleprovet både mer rättvisa och träffsäkra. Joakim Wallmark, doktorand vid Handelshögskolan, Umeå universitet, har utvecklat IRTorch, ett nytt verktyg som gör det enklare att utforma tester som bättre speglar deltagarnas verkliga kunskaper.
Joakim Wallmarks forskning handlar om att förbättra hur vi analyserar provsvar genom en metod som kallas ”Item Response Theory”, IRT. Den här metoden används för att förstå sambandet mellan prov och hur bra deltagarna faktiskt är på de saker provet mäter, som till exempel läsförståelse eller matematik. Genom att introducera nya typer av IRT-modeller och jämföra med äldre modeller visar Wallmark att de nya modellerna är både mer flexibla och ger mer träffsäkra resultat. Det gör det möjligt att både bedöma provfrågorna bättre och gruppera deltagarna på ett mer rättvist sätt.
– Genom mer tillförlitliga analysmetoder kan utbildningsorganisationer säkerställa att deras kunskapsprov ger en rättvis bild av eleverna faktiskt kunnande, vilket i slutändan leder till bättre underlag för pedagogiska beslut, säger Joakim Wallmark.
De nya modellerna använder en mer avancerad matematisk formel som gör att bättre kan anpassas till verkliga provsituationer. Det innebär att provresultaten blir mer precisa i att mäta vad de egentligen ska mäta. Modellerna gör det också möjligt att i en datorbaserad prova välja ut provfrågor efter hur en person presterat tidigare. Det här gör det möjligt att mäta en persons förmåga kunskap eller nivå med högsta möjliga precision och effektivitet. Det genom att till exempel ge en svårare fråga om någon redan har svarat rätt på flera svåra frågor.
– IRTorch gör det möjligt att enklare avancerade IRT-modeller, vilket gör att kvaliteten på prov kan höjas och provtagare kan rangordnas på ett mer rättvist sätt, säger Joakim Wallmark.
IRT kan även hjälpa till att jämföra resultat från olika prov och se om vissa frågor är eller visa för specifika grupper som till exempel baserat på kön eller etnicitet. IRT-modeller används också mycket inom forskning för att simulera provdata för att jämföra och utvärdera nya metoder i olika situationer.
Den avancerade tekniken – en utmaning
Trots fördelarna med IRT är metoden svårare att förstå än enklare alternativ, som bara sommar poäng från varje provfråga. Därför kan det ibland vara svårt att få denna typ av metodik accepterad på bred front menar Wallmark.
Men i framtiden kan IRTorch bland annat hjälpa till att identifiera vissa frågor som är orättvisa för specifika grupper eller att prova mäter vad de faktiskt är avsedda att mäta. Det innebär att de här forskningsresultaten kan få betydelse för hur kunskapsprov kommer att kunna användas framöver.
– Min avhandling bidrar till en fördjupad förståelse av hur kunskapsnivåer kan mätas mer träffsäkert, vilket banar väg för framtida förbättringar inom utbildning och provutveckling, säger Wallmark.