Forskning

LÆRINGSSKALA

Forskning

Den forskningsmæssige forankring af læringsskalaen
Af Poul Nissen

I de seneste år har der, ikke mindst i lyset af det danske skolesystems gennemsnitlige indplacering i de internationale målinger, kunnet konstateres en øget interesse for, at lærerne i skolen i højere grad anspores til at arbejde evidensbaseret frem for erfaringsbaseret med henblik på at finde ud af, hvilke undervisningsmetoder der virker.

Der er imidlertid mange andre faktorer end selve undervisningsmetoden, som har indvirkning på, om eleverne lærer noget i skolen. Adskillige undersøgelser peger på, at et godt forhold lærer og elever imellem korrelerer med elevernes boglige præstationer (Crosnoe, Johnson og Elder 2004) og sociale adfærd i skolen (Hamre og Pianta 2005). Dette synes at gælde uanset kultur og køn (Hughes og Kwok 2006). Undersøgelser tyder endvidere på, at de elever, der oplever en positiv relation til læreren sammenlignet med elever, der ikke gør det, er mere motiverede og får bedre karakterer (Crosnoe m.fl. 2004; Hamre og Pianta 2005). De opfører sig også bedre i klasseværelset og er mere socialt kompetente samt mere engagerede i undervisningen og accepterede af de øvrige kammerater i klassen (Hughes og Kwok 2006).

At positive forventninger til eleverne også har en betydning, har længe været kendt, idet Rosenthal (Rosenthal og Jacobson 1977) for mere end 40 år siden påviste, hvorledes lærernes forventninger til eleverne kunne påvirke deres intellektuelle formåen, eksempelvis ved at bilde lærerne ind, at eleverne var klogere, end de i virkeligheden var for således at ændre lærernes forventninger til eleverne. Disse fund er senere blevet repliceret hundredvis af gange (Rosenthal 2003). Det, at der forventes noget af eleverne, er også et karakteristikum ved de ti bedst præsterende skolesystemer i verden (Barber og Mourshed 2007).

Det synes således at være andre forhold end ”blot” undervisningsmetoden, der er afgørende for, om eleverne lærer noget. Dansk Clearinghouse for Uddannelsesforskning har udarbejdet et systematisk review, der har kortlagt 11 forhold i grundskolen, som har betydning for elevernes læring (Nordenbo m.fl. 2010). Det drejer sig om forhold som skoleledelsens måde at forvalte personaleledelse, pædagogisk ledelse, elevernes mulighed for at lære, en tryg og velorganiseret dagligdag, et godt læringsklima, god skolekultur og gode sociale normer og værdier, lærerens muligheder for at tilrettelægge undervisningen og brug af undervisningsmetoder samt lærerens muligheder som aktør, elevsammensætningen på skolen og skole-hjem-samarbejdet.

Imidlertid er her tale om 11 meget overordnede faktorer, som er fremkommet ved, at 71 undersøgelser ud fra kvalitetskriterier er blevet udvalgt ud af 6.000 undersøgelser og er blevet plottet ind i et avanceret program og herefter analyseret. Ifølge Nordenbo ligger udfordringen i dag i at sikre, at læreren er evidensinformeret i så tilstrækkelig grad, at han eller hun professionelt kan udføre sit arbejde helt ned på elevniveau. ”Vi skal finde nye veje til at etablere, fastholde og udvikle evidens i lærerens arbejde” (Nordenbo m.fl. 2010).

Udtrykkene evidensbaseret og evidensinformeret benyttes ofte i flæng. Evidensbaseret indebærer, at man tilrettelægger sin undervisning baseret på evidens/forskning, men sådan går det ofte ikke i praksis. At læreren arbejder evidensinformeret indebærer, at læreren (1) baserer sin undervisning på integration af den bedst tilgængelige pædagogiske forskning, (2) sin egen undervisningserfaring og (3) tilpasser den til de enkelte elevers udviklingsmuligheder.

Den internationale skoleforskning peger entydigt på, at skolens succes i langt højere grad afhænger af kvaliteten af undervisningen karakteriseret ved lærerens dygtighed, læringsklima, ambitioner, engagement m.v. end på strukturelle forhold som undervisningsmetode, skolestørrelse, korte eller lange undervisningsmoduler, holddannelse, tværfaglighed m.v. (Andersen 2011; Egelund 2011; Hattie 2009).

Skal læring finde sted, er det på denne baggrund ikke nok at se på, hvilke undervisningsmetoder der virker. Det ser således ud til, at det er vigtigt også at se på, hvilke forventninger der stilles til eleven – alliancefaktorer, det vil sige kemien mellem læreren og eleverne og eleverne indbyrdes, samt om undervisningsmetoden ”trigger” elevens læringsproces (Nissen 2012, 2013). Læring skal her forstås som en intersubjektiv forarbejdningsproces, der foregår ”inden i” den enkelte elev i relation til den relationelle virkelighed. Så ”kunsten” er, at læreren gennem sin undervisning får denne ”læringsudviklingsproces” sat i gang i de enkelte elever.

På denne baggrund er Læringsskalaen udviklet med henblik på at måle, om eleverne lærer noget i skolen. Den forskningsmæssige forankring af Læringsskalaen er baseret på, at læringsprocessen er afhængig af, om (1) der næres positive forventninger til eleven, om (2) lærerens måde at undervise på passer til eleven, om (3) undervisningsmetoden ”trigger” elevens læringsproces, samt om (4) alliancerne mellem læreren og eleverne og eleverne indbyrdes er positive. Læringsskalaens valideringen og anvendelsen i undervisningssammenhænge har Nissen tidligere redegjort for (2011, 2012, 2013, 2014).

Hattie (2009) er ud fra analyser af en række undersøgelser nået frem til, at en af de mest betydningsfulde enkeltfaktor til fremme af skolepræstationer er feedback, hvor læreren modtager feedback med elevens perspektiv og eleven feedback fra lærerens. Ifølge Hattie er en af de faktorer, der har størst indflydelse på, om læring finder sted i klasseværelset, nemlig når lærerne bliver undervist af deres egen undervisning, og eleverne bliver deres egne lærere. Det er netop denne feedbackproces, Læringsskalaen kan medvirke til at facilitere. Således kan der etableres, fastholdes og udvikles evidens i lærerens arbejde.

Hensigten med Læringsskalaen er første og fremmest, at læreren får et let anvendeligt instrument til at måle, om læring finder sted hos alle eleverne i klassen for på den måde at reflektere over effekten af egen undervisning (Nissen 2012). En velbegavet elev, der savnede udfordringer i folkeskolen, skiftede skole og blev indskrevet i en såkaldt ”talentklasse” i 7. klasse, udtrykte sig således: ”I 4. klasse håbede jeg, det ville blive bedre, og i 5. klasse håbede jeg også, det ville blive bedre, men da jeg kom i 6. klasse kunne jeg ikke holde det ud mere” (Nissen og Baltzer 2011). Hvis elever ikke gennem længere tid giver udtryk for, at de lærer noget i skolen, er det på tide at foretage sig noget andet. Idéen er at drage omsorg for, at alle elever lærer noget og ikke kun nogle elever (Barber og Mourshed 2007). Af samme rapport fremgår, at de topfungerende skolesystemer giver udtryk for, at man ikke kan forbedre noget, man ikke måler. Af en amerikansk forskningsrapport fremgår, at hvis to gennemsnits otteårige elever blev udsat for en henholdsvis ”toppræsterende” og en ”lavt præsterende” lærer, vil elevernes standpunkt efter tre år divergere med mere end 50 percentil point (Sanders og Rivers 1996). Det vil sige, at mens de tidligere hørte til de 25 procent bedste, vil de tre år senere høre til de 25 procent dårligste. Af en anden undersøgelse fremgår ligeledes, at forskellen på standpunkter mellem elever, der havde tre effektive lærere i træk, og elever, der havde tre ineffektive lærere i træk, var 49 percentil points (Wright, Horn og Sanders 1997).

Læringsskalaen er blevet anvendt i en del forskningsprojekter eksempelvis i forbindelse med evalueringen af undervisningsassistentordningen på danske skoler (Rambøll 2011), et skolemadsprojekt baseret på nordisk kost (Damsgaard m.fl. 2012) og en effektforskningsundersøgelse, hvor drenge på en summer camp modtog intensiv undervisning (Andersen og 2014).

Læringsskalaen er tænkt som et hjælpemiddel til også at gøre læreren mere evidensinformeret end norm- eller erfaringsbaseret for på den måde at blive informeret om, hvorvidt alle eleverne i klassen lærer noget – og hvis ikke, så reflektere over, hvad der kan gøres for at øge kvaliteten i undervisningen. Den mest virkningsfulde måde, lærere kan tænke over deres rolle på, er ved at se sig selv som evaluatorer af deres effekt på eleverne. Han anbefaler, at lærere bør bruge evidensbaserede metoder til at forme, ændre og underbygge deres formodninger om deres effekt. Læringsskalaen kan være et hjælpemiddel i den retning.

Læringsskalaens præliminære validering

Læringsskalaen er blevet anvendt som forskningsinstrument i forbindelse med evalueringen af anvendelsen af undervisningsassistenter i den danske folkeskole (Andersen og Højfeldt 2011), hvorved det blev muligt at indsamle et randomiseret datamateriale. 24 tilfældigt udvalgte skoler, der havde undervisningsassistenter, blev udvalgt, hvilket resulterede i 910 elever fra 0. til 9. klasse, hvor hovedparten af elever kom fra 2. til 5. klasse (se tabel 1).

Tabel 1.
Elevernes fordeling på klassetrin
Klassetrin Frekvens Procent
0 43 4.8
1 63 7.0
2 158 17.5
3 274 30.4
4 122 13.5
5 121 13.4
6 61 6.8
7 41 4.6
8 15 1.7
9 3 0.3
I alt 901 100

Elevernes gennemsnitsalder var 9.3 år med en spredning på 5 til 16 år. Der var omtrent lige mange piger og drenge (47 procent piger og 53 procent drenge).

Et måleinstrument betragtes som validt, hvis det måler, hvad det giver sig ud for at måle (Allen og Yen 1979). Validitet kan vurderes på flere måder, afhængigt af hvad man vil bruge måleinstrumentet til. Valideringen af læringsskalaen har haft særligt fokus på indholds- og konstruktionsvaliditet.

Indholdsvaliditet dækker over, om instrumentet omfatter relevante aspekter ved det emne eller genstandsfelt, man ønsker at måle med instrumentet i dette tilfælde læringsskalaen. Det vil sige, om læringsskalaens spørgsmål er relevante og repræsentative for det område, i dette tilfælde læring, som man ønsker at måle på. Denne type validitet undersøges ved at opstille og afprøve hypoteser på baggrund af eksisterende viden på området. På den baggrund blev læringsskalaen konstrueret ud fra viden om, hvilke faktorer der har evidens for at stimulere elevernes læringsproces.

Læringsskalaen blev således konstrueret ud fra eksisterende viden, teorier og forskning om læring. Den første linje på skalaen (se figur 1) måler fagligt, i hvor høj grad den indre læringsproces er i gang. Denne antagelse er baseret på en mængde forskning af ældre teoretikere som Dewey, Piaget, Rogers og Vygotsky, hvis værker understreger vigtigheden af, at eleven konstruerer sin egen læring. Disse tidligere teorier er senere blevet videreudviklet og empiribaseret af moderne motivationsteorier som eksempelvis Deci og Ryans selvdeterminationsteori (Deci 1976, 1980; Deci og Ryan 2000; Deci, Ryan og Koestner 1999), der understreger vigtigheden af selvmotivation eller indre motivation (intrinsic motivation) i opposition til ydre motivation (extrinsic motivation) således, at læringsprocessen bliver en form for personlig udvikling.

Den anden linje på læringsskalaen, Socialt, refererer til vigtigheden af det sociale klimas indvirkning på læringsprocessen. Det sociale klima indebærer lærer/elev-relationen, elev/elev-relationen og i det hele taget det generelle sociale klima på skolen. Oplever eleverne sociale vanskeligheder, drænes energien fra læringsprocessen (Crosnoe, Johnson og Elder 2004; Hamre og Pianta 2001, 2005; Hughes og Kwok 2006; Rathunde 2003; Rathunde og Csikszentmihalyi 2005).

Den tredje linje, metode, har fokus på den undervisningsform, som eleverne udsættes for (Joyse 2009), mens den sidste linje, forventning, relaterer sig til vigtigheden af, at der stilles positive forventninger til elevernes intellektuelle præstationer (Rosenthal 2003; Rosenthal og Jacobson 1977).

Ved således at forankre skalaen i forskningslitteraturen om læring, er indholdsvaliditeten blevet forstærket, selvom indholdsvaliditet baseret på systematik – om end baseret på subjektiv vurdering – er sårbar over for fejl i forhold til andre validitetstyper. Da indholdsvaliditeten af læringsskalaen således ikke udgør et tilstrækkeligt grundlag for brugen af skalaen, blev konstruktionsvaliditeten af læringsskalaen også undersøgt.

Konstruktionsvaliditet er et udtryk for, i hvilken grad et måleinstrument måler den teoretiske konstruktion, det har til hensigt at måle. Konstruktionsvaliditet indebærer følgende tre trin:

  1. Baseret på aktuel teori om træk, som ønskes målt, foretager udvikleren prædiktioner om, hvorledes scorerne vil opføre sig i forskellige situationer.
  2. Disse prædiktioner testes så.
  3. Og hvis prædiktionerne understøttes af data, forstærkes konstruktionsvaliditeten.

På denne baggrund blev to centrale prædiktioner, med hensyn til hvorledes scorerne ville opføre sig, foretaget.

For det første blev det forventet, at de fire dimensioner ved læringsskalaen – fagligt, socialt, metode, forventning – var relevante faktorer med hensyn til facilitering af læringsprocessen, hvorfor følgende blev undersøgt:

  1. Hvis de fire dimensioner måler den samme underliggende dimension, skulle man forvente en moderat til stærk korrelation mellem dem. Hvis der modsat var en dimension, der ikke korrelerede med de andre, burde den ekskluderes fra modellen. Prædiktion blev undersøgt ved at se på interkorrelationen mellem de fire variable.
  2. Hvis hver af de fire dimensioner er uafhængigt relevante, vil dimensionerne ikke korrelere for højt. Herved bliver det umuligt at bestemme den særlige distribution af de individuelle dimensioner for den samlede læringsscore. En for høj eller perfekt korrelation vil blive indikeret af multikollinearitet mellem dimensionerne. Den prædiktion blev undersøgt ved at se på determinanterne af korrelationsmatrixet (se tabel 2).

For det andet blev det forventet, at læringsskalaens faglige og sociale dimension ville have den stærkeste relation med læringsscorerne i det hele taget. Denne prædiktion blev testet ved at foretage en multipel regressionsanalyse af alle læringsscorerne i det hele taget (den afhængige variabel).

Det første trin i valideringsanalysen var at undersøge korrelationen mellem læringsskalaens fire dimensioner. Et korrelationsmatrix er vist i tabel 2. Formålet med dette korrelationsmatrix er at vise styrken og retningen af relationer mellem læringsskalaens fire dimensioner. Som det ses af tabellen, er der moderate positive relationer mellem læringsskalaens faglige, sociale og metodiske dimension, hvor korrelationskoefficienterne spænder fra r = 0 .428 til r = .504, p < .001. Til sammenligning har forventningsdimensionen en lidt svagere positiv relation med de andre dimensioner med fra r = .330 til r = 377, p < .001. Ydermere synes der ikke at være en multikollinearitet mellem dimensionerne som en indikation af, at hver af dimensionerne bidrager individuelt (determinanten 0.449 er større end den nødvendige værdi på 0.00001).

Tabel 2.
Korrelationsmatrix
Dimension Fagligt Socialt Metode Forventning
Fagligt .445 .504 .377
Socialt .428 .330
Forventning .345
Note. Alle korrelationer er signifikante ved p < 0.001, determinant = .449

Tabel 2. Tabellen viser den procentuelle angivelse (percentiler) af 735 10-11-årige elevers scoringer på Læringsskala.

Det andet trin i validitetsanalysen indebærer en multipel regressionsanalyse med henblik på at bestemme den relative distribution af alle læringsscorerne for hver af skalaens fire dimensioner. Formålet med regressionsanalysen er at undersøge, hvordan værdien af den afhængige variabel (den samlede læringsscore) ændres, når hvilken som helst af de uafhængige variable (fx social) varierer, mens den anden uafhængige variabel fastlåses (fx fagligt, metode og forventning). Der blev således udført en hierarkisk multipel regressionsanalyse ved trinvis at gå igennem de fire dimensioner i følgende rækkefølge: fagligt, socialt, metode og forventning. I tabel 3 ses en model for analysens fire trin.

Tabel 3.
Sammendrag af hierarkisk multibel regressionsanalyse
Den statiske ændring
R R Adj R Std.Err R Squ. F Sig. F
Model Square Square of estim Change Change df1 df2 Change
1. Fagligt .762 .581 .580 4.3569 .581 1.244.970 1 899 .000
2 Fagligt/socialt .882 .777 .777 3.1773 .197 .792.511 1 898 .000
3 Fagligt/socialt/metode .943 .890 .890 2.2334 .113 920.464 1 897 .000
4 Alle dimensioner 1.000 1.000 1.000 .0000 .110 8.872.316 1 896 .000
Note. Den afhængige variabel er læringsscorerne i det hele taget

Værdien "R Square" indikerer, hvor meget variation i alle læringsscorerne, der hidrører fra de fire dimensioner. Som det ses af tabellen, hidrører 58,1 procent af variationerne i alle læringsscorerne fra den faglige dimension, når de øvrige dimensioner holdes konstant. Derudover udgør den faglige og sociale dimension 77,7 procent af variationen, hvilket indebærer, at tilføjelse af den sociale dimension bidrager med yderligere 19,6 procent. Hvis de to sidste dimensioner, metode og forventning, tilføjes, vil de bidrage med 11 procent af variationen.

Alt i alt synes resultaterne af analyserne at understøtte læringsskalaens konstruktion positivt, i og med tre af de fire dimensioner (fagligt, socialt, metode) har moderate til stærke relationer som en indikation af, at de måler den underliggende konstruktion. Den sidste dimension, forventning, har generelt lav relation med de øvrige dimensioner og burde således eventuelt ekskluderes fra modellen. Dog viser erfaringer fra dataindsamlingen, at nogle af de mindste børn havde problemer med forståelse af dimensionen forventning, hvilket kan have haft indflydelse på det samlede resultat. De to øvrige dimensioner, fagligt og socialt, har den stærkeste relation og bliver derfor de stærkeste prædiktorer for den samlede læringsscore.

Referencer
Allen, M.J. & Yen, M.W. (1979). Introduction to measurement Theory. Waveland Press Inc.
Andersen, F.Ø. (2011). ”Skolens succes = kvaliteten af undervisningen”. I Medlemsblad fra Odense Lærerforening (4), 8-9.
Andersen, F.Ø. (2014). Drengeakademiet – trivsel, læring og personlig udvikling for drenge på kanten. Dafolo/Aarhus Universitet.
Andersen, F.Ø. & Højfeldt, G. (2011). Undervisningsassistent. Hvorfor? Hvornår? Hvem? Hvordan? Hans Reitzels Forlag.
Barber, M. & Mourshed, M. (2007). How the world's best-performing school systems come out on top. McKinsey & Company.
Crosnoe, R., Johnson, M.K. & Elder, G. (2004). “Intergenerational Bonding in School: The Behavioral and Contextual Correlates of Student-Teacher Relationships". I Sociology of Education, 77(1), 22.
Damsgaard, C., Dalskov, S.-M., Petersen, R., Sørensen, L., Mølgaard, C., Biltoft-Jensen, A. & Michaelsen, K. (2012). ”Design of the OPUS School Meal Study – A randomised controlled trial assessing the impact of serving school meals based on the New Nordic Diet”. I Scandinavian Journal of Public health, 40(8), 11.
Deci, E.L. (1976). Intrinsic Motivation. Plenum Press.
Deci, E.L. (1980). The psychology of Self-Determination. Lexington Books.
Deci, E.L. & Ryan, R.M. (2000). "The What and Why of Goal Pursuits – Human Needs and the Self-Determination of Behavior". I Psychological Inquiry, 11(4), 227-268.
Deci, E.L. Ryan, R.M. & Koestner, R. (1999). “A Meta-Analytic Review of Experiments Examining the Effects of Extrinsic Rewards on Intrinsic Motivation". I Psychological Bulletin, 125(6), 627-668.
Egelund, N. (2011). Folkeskolens udfordringer. Aarhus Universitetsforlag.
Hamre, B.K. & Pianta, R.C. (2001). “Early teacher-Child Relationships and the Trajectory of Children's School Outcomes through Eighth Grade”. I Child development, 72(2), 625-638.
Hamre, B.K. & Pianta, R.C. (2005). “Can Instructional and Emotional Support in the First-Grade Classroom Make a Difference for Children at Risk of School failure?” I Child development, 76(5), 949-967.
Hattie, J. (2009). Visible Learning – a synthesis of over 800 meta-analyses relating to achievement. Routledge.
Hughes, J.N. & Kwok, O. (2006). “Classroom engagement mediates the effect of teacher-student support on elementary students' peer acceptance – a prospective analysis”. I Journal of School Psychology, 43(6), 465-480.
Joyse, B. (2009). Models of teaching. Pearson Education.
Nissen, P. (2011). ”Fra erfaringsbaseret til evidensinformeret undervisning”. I Kognition & Pædagogik, 21(79), 66-73.
Nissen, P. (2012). ”Hvordan måler man om eleverne lærer noget i skolen?”. I Økonomi & Politik, 85(2), 25-33.
Nissen, P. (2013). ”Evidensinformeret undervisning – hvordan gør man?”. I Paideia, 3(6),17-26.
Nissen, P. & Baltzer, K. (2011). Effektundersøgelse af talentklasser. Undervisningsministeriet.
Nordenbo, S.E., Hom, A., Elstad, E., Scheerens, J., Larsen, M.S., Uljens, M. & Hauge, T.E. (2010). ”Input, Process, and Learning in primary and lower secondary schools – a systematic review carried out for The Nordic Indicator Workgroup (DNI)”. I The Evidence Base. Danish Clearinghouse for Educational Research, School of Education, Aarhus University.
Rambøll. (2011). Evaluering af undervisningsassistentordningen. København.
Rathunde, K. (2003). “A Comparison of Montessori and Traditional Middle Schools: Motivation, Quality of Experience, and Social Context”. I The NAMTA Journal, 28(3), 12-53.
Rosenthal, R. (2003). “Covert Communication in Laboratories, Classrooms, and the Truly Real World”. I Psychological Science, 12(5), 151-155.
Rosenthal, R. & Jacobson, L. (1977). Pygmalion i klasseværelset. Gyldendals Pædagogiske Bibliotek.
Sanders, W. & Rivers, J. (1996). Cumulative and Residual Effects of Teachers on Future Student Academic Achievement. Knoxville, University of Tennessee Value-Added Research and Assessment Center
Wright, P., Horn, S. & Sanders, W. (1997). “Teacher and Classroom Context Effects on Student Achievement: Implication for Teacher Evaluation”. I Journal of Personal Evaluation in Education, 11, 57-67.