Tolkning

LÆRINGSSKALA

Tolkning

Tolkning af resultaterne

Læringsskalaen er udviklet med henblik på at måle, om eleverne lærer noget i skolen (se figur 1). Den forskningsmæssige forankring af Læringsskalaen er baseret på, at læringsprocessen er afhængig af, om (1) undervisningsmetoden ”trigger” elevens læringsproces, om (2) alliancerne mellem læreren og eleverne og eleverne indbyrdes er positive, om (3) lærerens måde at undervise på passer til eleven og (4), i hvor høj grad der næres positive forventninger til eleven (Nissen 2012, 2013).

På denne baggrund er udviklet en ratingskala (se figur 1), som består af fire linjer, hvor eleverne på deres tablet, iPad, pc mv. med en slider kan markere, i hvor høj grad de (1) synes, at lære meget i skolen, (2) synes, at have det godt i skolen, (3) synes, lærerens måde at undervise på passer godt til dem, og (4) oplever, at der forventes meget af dem i skolen. Elevens markeringer sendes så til læreren og vises i en tabel (se tabel 2 og 3 nedenfor), hvor data kan omsættes til deskriptiv statistik, se fanebladet Statistik. Der er også udarbejdet en papirversion. Se fanebladet Papirversion.

Linjen med ”Lærerens måde at undervise på passer godt til” angiver interventionen, som skal ”trigge” elevens læringsproces. ”Jeg lærer meget i skolen” måler, i hvor høj grad denne læringsproces er kommet i gang, og på linjen med ”Jeg har det godt i skolen” måles alliancefaktorer generelt – både alliancen til lærerne og eleverne. Den sidste linje ”Der forventes meget af mig i skolen” måler, i hvor høj grad der stilles forventninger til eleverne i skolen. Det tager mindre end et minut at svare på disse spørgsmål.

Ideen med denne ratingskala er at sætte læreren i stand til at måle, om læring finder sted ”i hovedet på eleverne” for på den måde at gøre læreren evidensinformeret. At være evidensinformeret betyder, at læreren lægger data om evidens for undervisningens effekt sammenholdt med egne erfaringer fra praksis til grund for undervisningens indhold og tilrettelæggelse fremadrettet. Det er ikke hensigten, at Læringsskalaen skal anvendes efter hver lektion, men den kan eksempelvis anvendes i forbindelse med et undervisningsforløb, man gerne vil teste effekten af.

Fig. 1. Læringsskalaen. På linjerne angiver eleverne i hvor høj grad de oplever (1) at lære meget, (2) at have det godt, (3) synes, at lærerens undervisningsmetode passer til dem og (4) synes, at der forventes meget af dem. Copyright © 2015 Dr. Poul Nissen og Dafolo A/S

Hvorfor Læringsskalaen?

Hattie (2013) er ud fra analyser af en række undersøgelser nået frem til, at en af de mest betydningsfulde enkeltfaktorer til fremme af skolepræstationer er feedback. Ikke så meget feedback fra læreren til eleven, men snarere feedback fra eleven til læreren, hvor læreren modtager feedback fra elevens perspektiv i forbindelse med undervisningen (Hattie og Timperley 2007). Feedback fra eleverne er således en af de faktorer, der har størst indflydelse på, om læring finder sted i klasseværelset. Det er netop denne feedbackproces, Læringsskalaen kan medvirke til at facilitere. Således kan der etableres, fastholdes og udvikles evidens i lærerens arbejde.

Hensigten med Læringsskalaen er først og fremmest, at læreren får et let anvendeligt instrument til at måle, om læring finder sted hos alle eleverne i klassen for på den måde at reflektere over effekten af egen undervisning (Nissen 2012, 2013). En velbegavet elev, der savnede udfordringer i folkeskolen, skiftede skole og blev indskrevet i en såkaldt ”talentklasse” i 7. klasse, udtrykte sig således: ”I 4. klasse håbede jeg, det ville blive bedre, og i 5. klasse håbede jeg også, det ville blive bedre, men da jeg kom i 6. klasse kunne jeg ikke holde det ud mere” (Nissen og Baltzer 2011). Hvis elever ikke gennem længere tid giver udtryk for, at de lærer noget i skolen, er det på tide at foretage sig noget andet. Ideen er at drage omsorg for, at alle elever lærer noget og ikke kun nogle elever (Barber og Mourshed 2007) Af samme rapport fremgår, at de top-fungerende skolesystemer giver udtryk for, at man ikke kan forbedre noget, man ikke måler.

Læringsskalaen er tænkt som et hjælpemiddel til også at gøre læreren evidensinformeret og ikke blot filosofi- eller normbaseret for på den måde blive informeret om, hvorvidt alle eleverne i klassen lærer noget – og hvis ikke, så reflektere over, hvad man kunne gøre for at øge kvaliteten i undervisningen. Hattie (2013) har dokumenteret, at de største effekter på elevernes læring forekommer, når lærerne lærer af deres egen undervisning, og når eleverne bliver deres egne lærere. Den mest virkningsfulde måde, lærere kan tænke over deres rolle på, er ved at se sig selv som evaluatorer af deres effekt på eleverne. Han anbefaler, at lærere bør bruge evidensbaserede metoder til at forme, ændre og underbygge deres formodninger om deres effekt. Læringsskalaen kan være et hjælpemiddel i den retning.

Danske normer

Læringsskalaen er blevet afprøvet med 735 elever på 3. og 4. klassetrin på sjællandske skoler, hvor eleverne blev bedt om at sætte et mærke på hver af skalaens fire linjer. I tabel 1 er resultaterne angivet. Af tabellen ses, at 2 % (percentil 2) af de 735 børn kun scorede mellem 0 og 9,1 samlet på de fire linjer, og op til 5 % af eleverne scorede op til 19,7 %. Dvs. at hvis eleverne scorer under 19,7, svarer det til, at 5 % af de 735 elever har tilsvarende vanskeligheder med læringsprocessen, hvilket giver anledning til stærk bekymring med hensyn til, om læring finder sted. Scorer elever mellem 19,8 og 22,2, svarer det til 10-percentilen angivet med orange, hvilket giver anledning til bekymring om, hvorvidt læring finder sted. Scorer mellem 22,3 og 32,0 (angivet med gult) er et grænseområde til det normale. 20 % af eleverne scorer under 32. Dvs. det er den femtedel, som får mindst ud af undervisningen. Scorer eleverne flere gange under 32, bør læreren have en samtale med disse børn og reflektere over, i hvor høj grad undervisningen korresponderer med elevens potentialer. Af tabellen ses endvidere, at halvdelen af børnene fra percentil 50 til 100 ligger over en total score på 38,8. Generelt kan man sige, at totalscoren ligger nær de 40, hvis undervisningen lykkes godt.

Som det ses af tabellen, scorer langt de fleste børn meget højt på skalaen. I praksis har det vist sig, at enkelte items kan afvige meget ved en enkelt måling. Fx kan en lav totalscore skyldes, at barnet har haft en uheldig morgen og eksempelvis er blevet skældt ud eller en uheldig skoledag, hvor negative følelser kan virke hindrende for læringsprocessen. Disse scorer kan dagen efter være høje. Dette gælder især mindre børn. Men her er der tale om flere hundrede elever, så enkelte lave scorer betyder ikke meget.

Ideen er, at man anvender Læringsskalaen, når man ønsker at vurdere, hvorvidt der finder læring sted i forbindelse med et undervisningsforløb. Scorer en elev lavt eller meget lavt flere gange i træk, skal læreren ud fra scoringerne på Læringsskalaen have en samtale med eleven med henblik på udarbejdelse af strategier for en positiv udvikling.

Eksempel fra måling i en 4. klasse

Ideen bag læringsskalaen er blandt andet at give læreren et værktøj med henblik på tilrettelæggelse af en undervisning, hvor ikke kun nogle elever lærer noget, men hvor alle elever lærer noget.

Tabel 2. I tabellen ses resultaterne fra første måling med Læringsskalaen i en 4. klasse fra en matematiktime fordelt på de fire skalaer, fagligt, socialt, metode og forventning. I femte kolonne er summen af de fire skalaer anført.

I tabel 2 ses resultaterne fra den første måling med læringsskalaen i en matematiktime, hvor læreren har ønsket feedback fra sin undervisning. I tabellen er anført, hvorledes eleverne scorer fagligt (om de synes, de lærer noget), socialt (om de har de godt), metode (om lærerens måde at undervise på passer til eleven) og forventning (om eleven oplever, at der forventes noget af eleven).

Klassen har en gennemsnitsscore på 30,6, hvilket er lidt under cut-off-scoren på 32 (se tabel 1). I kolonnen "Total" ses, at Oscar, Noah, Liam, Isabella, Caroline, Clara og Emil alle ligger under cut-off-scoren på 32, henholdsvis 28,7 – 5,2 – 14,9 – 26,1 – 21,8 – 28,8 – 29,6 og 23,1. Magnus (31,4), Jonathan (31,5) og Oliver (30,6) ligger ”lige på vippen”. Noah scorer under 2-percentilen svarende til, at færre end 2% af elever på hans alder giver udtryk for, at de ikke lærer særlig meget. Isabella scorer 14,9, hvilket er under 5-percentilen svarende til, at 5 % af elever på hendes alder har tilsvarende problemer. Så lave scorer er usædvanlige. En dårlig start på dagen, fx et skænderi inden skoledagens begyndelse, kan godt have indflydelse på, hvordan eleverne scorer en enkelt dag på de fire skalaer, men disse elever vil almindeligvis score højere dagen efter som tidligere nævnt. Her er mindre børn mere påvirkelige end større børn. Disse to elever får ikke meget ud af undervisningen, og deres situation bør analyseres nærmere, hvis de fortsat har lave scorer.

Gennemsnittet på de fire skalaer Fagligt, Socialt, Metode og Forventning ligger på henholdsvis 7,4 – 7,5 – 7,6 og 8,1. Groft vurderet: Skulle gennemsnittet på de fire skalaer komme op på 32, skulle gennemsnittet være 8 (32/4). Det er kun Forventning, der når op over 8 nemlig 8,1. Dvs. de fleste elever oplever, at der forventes noget af dem.

Generelt har denne time ikke været succesrig for alle elever. Der er stor spredning i scorerne. Halvdelen af eleverne synes at få meget ud af undervisningen, mens den anden halvdels udbytte ikke er optimalt. Nu er der tale om en engangsmåling, og efterfølgende målinger vil vise, om det drejer sig om noget forbigående eller mere permanent. Ligger tallene meget under 32 flere gange i træk, bør elevens/elevernes situation undersøges nærmere. Er der tale om sociale vanskeligheder, mobning mv.? Skyldes de lave scorer på de faglige områder, at niveauet er for højt eller lavt? Er det undervisningsmetoden, der er problemer med, eller oplever eleverne, at der ikke forventes meget af dem? Scorerne på linjerne vil kunne sige noget om, hvor problemet ligger.

I tabel 3 vises resultaterne fra en efterfølgende måling (måling 2) foretaget er par uger efter første måling i matematik i samme 4. klasse.

Her ses, at Oscar, der på den første måling havde en score på 28,7, nu ved anden måling scorer 32,3 og således ligger over cut-off-scoren på 32. Noah, som ved den første måling scorede 5,2, scorer ved anden måling 21,5 – stor fremgang. Klassens gennemsnit er ved anden måling nu over 32 nemlig 32,8. Godt en tredjedel af eleverne ligger nu under cut-off-scoren modsat tidlige halvdelen, og flere af eleverne, fx Magnus, Deniz og Jonathan, ligger lige under med henholdsvis 31,7 – 30,7 og 31. Så generelt har hele klassen bevæget sig i positiv retning.

Tabel 3. Resultaterne fra anden måling med Læringsskalaen i samme 4. klasse som vist i tabel 2 er fordelt på de fire skalaer: fagligt, socialt, metode og forventning. I femte kolonne er summen af de fire skalaer anført og nederst på tabellen gennemsnittet af de fem kolonner. I sjette kolonne er effektstørrelser anført. Se nedenfor under overskriften ”Effektstørrelse”.

Boksplot

Boksplot er en overskuelig måde at beskrive data fra Læringsskalaen på. For at tolke et boksplot skal man kende følgende værdier: den mindste værdi, nedre kvartil, medianen, øvre kvartil og den største værdi (se figur 2).

Figur 2. Figuren viser et boksplot i relation til læringsskalaen, hvor maksimumpoint er 40 og minimum 0.

For et boksplot gælder altid, at 25% af scorerne ligger mellem den mindste værdi og nedre kvartil (kvartil refererer til en fjerdedel), 25% mellem nedre kvartil og medianen (den midterste værdi i et datasæt). Andre 25% af scorerne vil ligge mellem medianen og den øvre kvartil, mens de sidste scorer vil ligge mellem den øvre kvartil og den største værdi i datasættet.

Boksplots er således gode til at sammenligne forskellige sæt data med hinanden. Hvis man fx i forbindelse med et undervisningsforløb vil vide, om eleverne lærer noget, kan man udarbejde et boksplot undervejs i undervisningsforløbet og se udviklingen med henblik på en vurdering af, om alle elever lærer noget og ikke kun nogle elever.

I figur 3 er datasættet fra tabel 1 (første måling) og tabel 2 (anden måling) illustreret i form af et boksplot, som således viser klassens samlede resultat. Ved første måling ses, at 25 % af eleverne ligger mellem 5,2 (mindste værdi) og 28,4 (nedre kvartil). Der er altså en stor del af eleverne, der ligger ganske lavt med stor spredning. En lige så stor del af eleverne ligger mellem medianen (32,3) og nedre kvartil (28,4) – altså ganske tæt – mens en fjerdel af eleverne scorer mellem medianen (32,3) og øvre kvartil (35,9) – altså ganske tæt igen. Det vil sige, at halvdelen af klassen ikke synes at have lært meget i denne time, mens den anden halvdel synes at have lært noget. En fjerdedel af scorerne ligger her mellem 35,9 (øvre kvartil) og medianen (32,3), mens den sidste fjerdel ligger mellem øvre kvartil og største værdi (40) og således har således givet udtryk for stort udbytte af undervisningen.

Figur 3. En boksplotillustration af første og anden måling fra matematiktimen i 4. klasse.

Ved anden måling er antallet af elever med små scorer faldet betydeligt, hvor nu 25 % af eleverne ligger mellem 21,5 (mindste værdi) og 30,6 (nedre kvartil). Halvdelen af eleverne ligger forsat tæt mellem nedre kvartil (30,6) og øvre kvartil (35,9), men nu har boksen ”hævet sig” i positiv retning. Konkluderende en positiv udvikling og mindsket spredning, og hvor klassens gennemsnitlige scorer er øget fra 30,6 (se tabel 2) til 32,8 (se tabel 3). Det vil sige en anelse over cut-off-scoren på 32.

Radardiagram

Radardiagrammer er en anden måde at illustrere en tabel på. Fig. 4 viser 4. klasses totale scorer fra første og anden måling i matematik – jævnfør tabellen – i form af et radardiagram.

Figur 4. Et radardiagram af første og anden måling fra matematiktimen i 4. klasse.

Effektstørrelse

Effektstørrelse er en måde at beregne, om undervisningen har haft effekt. Eksempelvis kan man ved hjælp af Læringsskalaen måle en klasses gennemsnit (1. måling) og efterfølgende måle gennemsnittet igen (2. måling) (se figur 5). Jo længere de to fordelinger er fra hinanden, jo større effekt. Hvis de to fordelinger overlapper hinanden, er effekten nul. Hvis anden målings gennemsnit er mindre end første, bliver effektstørrelsen negativ. Nu kan fordelingen af de to målinger være forskellig, hvilket der tages højde for ved at dividere med den gennemsnitlige standardafvigelse. Jo bredere fordelingen er (større variation af scorerne), jo større standardafvigelse. Jo mindre spredning i scorerne, jo mindre standardafvigelse. Det er der således taget højde for i formlen til beregning af effektstørrelse:

En effektstørrelse på 0,2 regnes for lille, en effektstørrelse på 0,5 mellem og en effektstørrelse på over 0,8 regnes for stor (Cohen 1988, 1992). Hattie (2013) har beregnet den gennemsnitlige effektstørrelse på baggrund af en række metaanalyser og når frem til, at en effektstørrelse på 0,40 svarer til en effekt, der fører til en årlig vækst over det forventede. Så ifølge Hattie (2013) svarer en effektstørrelse på 0,40 til fremskridtet i løbet af et år.

Figur 5. Figuren viser fordelingen af to målinger med læringsskalaen. Jo længere fordelingerne er fra hinanden, jo større effekt.

I tabel 2 og 3 er kolonner med effektstørrelse anført. I tabel 2 er kolonnen med effektstørrelse blank, da der kun er foretaget én måling. Effektstørrelsen angiver, hvilket fremskridt der er mellem to målinger. Effektstørrelsen kan også være negativ som et udtryk for, at udviklingen har været negativ, som vi også tidligere har været inde på. Af tabel 3 ses, at Noahs fremskridt har været meget stort, nemlig 2,5. Det skyldes, at Noah ved første måling scorede 5,2 og ved anden måling 21,5. Victor, derimod, har en effektstørrelse på -0,2, men det skyldes, at Victor ved den første måling scorede 35,8 og ved den anden måling 34,7. Da Victors scorer ligger over 32, har det ingen betydning. Så effektscorer ved gennemsnit på over 32, skal der ses bort fra. Det, der er interessant, er, at måle, om interventionen/undervisningen virker i forbindelse med de elever, der scorer lavt. Fx scorede Isabella i gennemsnit på de fire skalaer ved den første måling 14,9 og ved den anden måling 29,5, hvilket resulterer i en meget høj effektstørrelse på 2,2. Liam som scorer højst af alle elever scorer 40 ved første måling og 40 ved anden måling. Det betyder, at de to fordelinger (fig. 4) overlapper hinanden, hvorfor han får en effektscore på 0, selv om han er den elev af alle, der giver mest udtryk for, at han lærer mest. Så effektstørrelse ved Læringsskalaen giver kun mening, hvis man vil følge virkningen af ens intervention/undervisning i forbindelse med elever, der indledningsvis scorer lavt.

Referencer

Barber, M. & Mourshed, M. (2007). How the world's best-performing school systems come out on top. McKinsey & Company.
Cohen, J. (1988). Statistical power analysis for behavioral science. Lawrence Earlbaum Associates.
Cohen, J. (1992). “A Power Primer”. I Psychological Bulletin, 112(1) 155-159.
Hattie, J. (2013). Synlig læring – for lærere. Dafolo.
Hattie, J. & Timperley, H. (2007). “The Power of Feedback”. I Review of Educational Research, 77(1) 81-112.
Nissen, P. (2012). “Hvordan måler man om eleverne lærer noget i skolen?”I Økonomi & Politik, 85(2), 25-33.
Nissen, P. (2013). “Evidensinformeret undervisning – hvordan gør man?” I Paideia – Tidskrift for professionel pædagogisk praksis(6), 18-28.
Nissen, P. & Baltzer, K. (2011). Effektundersøgelse af talentklasser. Undervisningsministeriet.
Nissen, P. & Lemire, S. (2014). ”Giving Students a voice – A preliminary Study of the Validity of an Ultra Brief Outcome Measure for Students: The Learning Rating Scale LRS”. I Scottish Journal of Arts, Social Science and Scientific Studies, 17(2), 23-33.