Undersøgelse af De Nationale Tests måleegenskaber

Denne rapport indeholder en omhyggelig analyse af de måletekniske egenskaber af de nationale test i læsning i 8. klasse i 2017. Analyserne bygger på svarene på alle opgaver fra alle 48.481 elever i 8. klasse i 2017. Analysen er foretaget ved hjælp af den samme Rasch-model som blev anvendt i forbindelse med udviklingen og afprøvningen af de nationale test. Eventuelle forskelle på det som analysen af datamaterialet fra 2017 måtte afsløre, i forhold til det som de nationale test producerer, kan derfor ikke skyldes at denne analyse bruger andre metoder og stiller andre krav til test, end dem der blev brugt i forbindelse med udviklingen af de nationale test.

Resultaterne af analysen kan ganske kort opsummeres på følgende måde:

1)    Nationale test anvender opgavernes sværhedsgrader til at udvælge opgaver til elever og til at beregne mål for hvor dygtige eleverne er. Disse sværhedsgrader er forkerte, og der var i 2017 mange tilfælde af meget store forskelle på de sværhedsgrader som nationale test benytter, og de sande sværhedsgrader.
2)    Konsekvensen af at nationale tests sværhedsgrader er forkerte, er at beregningerne af dygtigheden er forkert og kan være direkte vildledende. Analyserne i kapitel 4 giver flere eksempler på at det rent faktisk er tilfældet, både når man ser på testresultater for enkelte elever, og når man ser på fordelingen af læsefærdigheden i 2017. Nationale tests resultater tegner med andre ord et forvrænget billede af situationen.
3)    Anvendelsen af forkerte sværhedsgrader betyder at den adaptive algoritme vælger opgaver på en uhensigtsmæssig måde som – selvom målingerne af dygtigheden ikke havde været systematisk forkerte, og selvom analyserne også viser at den adaptive algoritme fungerer som den skal – ville forringe sikkerheden på målingerne. Resultaterne i kapitel 4 og 5 giver flere eksempler på at dette ikke blot er noget der kan påvises at følge logisk af problemerne med sværhedsgraderne, men at det også kan ses i data fra 2017.
4)    Undersøgelsen i kapitel 4 af opgavernes tilpasning til eleverne viser at der i to af de tre områder som eleverne testes i (profilområder), kun er et meget begrænset udvalg af opgaver til dygtige og meget dygtige elever. Det kan betyde at disse elever vil opleve at få de samme opgaver i den obligatoriske test som de allerede har fået i den frivillige test, og det betyder at de skal besvare flere opgaver end nødvendigt for at opnå tilstrækkelig sikkerhed på resultatet.
5)    Med hensyn til usikkerheden viser analyserne også at ministeriets beslutning om at slække på kravene til målingernes sikkerhed fører til testresultater der er så usikre at de er uanvendelige på elevniveau. Dette problem ville også være der selvom der ikke var problemer med opgavernes sværhedsgrader, men fejlene i sværhedsgraderne forstærker problemet med usikkerheden.
6)    En undersøgelse af datas tilpasning til Rasch-modellen i kapitel 4 viser at der ikke er belæg i data for at sige at de tre profilområder i læsning måler én og samme færdighed, men analysen tyder på at det kan give mening at se afkodning og tekstforståelse som én dimension. En sådan sammenlægning af profilområder ville kunne forøge sikkerheden på elevernes resultater.
7)    Analyserne i kapitel 5 viser at der er situationer hvor elevens færdigheder i læsning ikke kommer til udtryk i dele af testforløbet, og at beregningerne derfor systematisk undervurderer hvor godt eleven læser. De nævnte situationer, hvor dele af testforløbet er mislykkedes, er hyppigst i starten af forløbet, men forekommer også undervejs. Denne analyse kan ikke sige noget konkret om hvor ofte der er problemer med dele af testforløbene, men vi kan konstatere at det var særdeles let at finde sådanne eksempler ved blot at kigge datamaterialet igennem. Af den årsag forventer vi at hyppigheden af delvist mislykkede testforløb hvor elevernes færdigheder undervurderes, er med til at tegne et mere pessimistisk billede af danske elevers læsefærdigheder, end der er belæg for.