Kategoriarkiv: Bedömning och utvärdering

Tänk om vi skrev brev till varandra med kunskapskraven i bakhuvudet

Publicerat av
1

En utmaning med kunskapskrav och betygskriterier är att de ska konkretiseras och förtydligas för att kunna fungera som pedagogiska verktyg, dvs. utgöra exempel på kunskapskvaliteter av olika värde. En svårighet härvid ligger i att det sätt som man beskriver kunskap på i kursplanerna ligger ganska långt ifrån hur vi talar om varandras kunskap i vardagslivet. Om vi för skoj skull tänker oss att vi kommenterade varandra i en personlig brevväxling utifrån kunskapskraven skulle det kunna se ut så här:

Stockholm 140122

Tack för ditt brev på C-nivå!*

Jag blev mycket glad för ditt brev med en relativt god språklig variation och utvecklad textbindning. Jag känner att du har en relativt väl fungerande anpassning till den texttyp, språkliga normer och strukturer som vi brukar ha i vår brevväxling. Dina berättelser innehåller utvecklade gestaltande beskrivningar och berättargrepp samt dramaturgi med relativt komplex uppbyggnad. Jag ser att du använt ett relativt varierat urval av källor och för utvecklade och relativt väl underbyggda resonemang om dessa källors trovärdighet och relevans. Det gjorde att ditt brev blev mer värt att läsa. Dessutom visar du med det youtube-klipp du länkar till i brevet att du kan kombinera olika texttyper, estetiska uttryck och medier så att de olika delarna samspelar på ett ändamålsenligt sätt och jag upplever att du därmed levandegör ditt brevs huvudbudskap. Jag uppskattar vidare den feedback jag fick på mitt förra brev och de utvecklade omdömen du gav om brevets innehåll. Jag ser också att du tagit till dig av mina synpunkter och utifrån den responsen bearbetat ditt brev mot ökad tydlighet, kvalitet och uttrycksfullhet på ett relativt väl fungerande sätt. Det var verkligen roligt att läsa och se att du växer som skribent i dina brev till mig! Tänk på att variera språket lite mer nästa gång bara och försök om möjligt att vara mer nyanserad i dina omdömen om mina brev!

Bästa hälsningar Christian 

*Betyget C för skrivkunskaper i ämnet svenska i åk 9 i princip ordagrant. Ord i fet stil är de så kallade värdeorden. Ord i kursiv stil ingår inte i kunskapskraven.

Vad kan vi vänta oss av en internationell skolkommission? Några av OECD:s tidigare expertutredningar av Norge och Sverige

Publicerat av
4

Frågan om vad kan vi lära av OECD:s tidigare expertutredningar aktualiseras av regeringens initiativ att tillsätta en internationell skolkommission. Regeringen har bett OECD att skapa en grupp av internationellt erkända skolforskare för att granska Sveriges utbildningssystem och komma med förslag på förbättringar. Den här typen av granskningar har OECD tidigare genomför i ett flertal länder, även i Sverige men då utifrån mer specifika aspekter. Ett aktuellt och nära exempel på ett mer vittgående samarbetet finns mellan OECD och Norge. Skillnaden mellan Sverige och Norge har emellertid varit väldigt stor vad gäller inte minst förvaltningen av skolan och det är inte rimligt att OECD:s experter kommer med samma samma synpunkter och förslag till Sverige. Det är heller inte säkert att det är experter tidigare associerade till OECD som väljs ut. Men det faktum att OECD ska ta fram lämpliga experter innebär rimligtvis ändå en viss styrning mot den typ av utvecklingsideal OECD står bakom. Det kan därför vara intressant att se vad OECD uppskattat respektive önskat mer av i sina tidigare studier av skolutvecklingen i Norge och i Sverige.

1988 genomförde OECD en analys av norsk utbildningspolicy (se vidare OECD 2002). En av huvudslutsatserna var att det i Norge saknats bra system för uppföljning och utvärdering av skolans resultat. Här har Norge traditionellt sett skiljt sig en hel del från Sverige i det att Norge, mer likt Finland låtit lärarna själva utvärdera sin verksamhet för sin egen skull. Dessutom har decentraliseringsgraden varit hög. Den nationella styrningen av den norska skolan ansågs även på andra punkter svag i Norge, t.ex. genom otydliga mål. Kritiken, eller synpunkterna, från OECD fick stora konsekvenser. Styrning och förvaltning kom att förändras med fokus på utvärdering och resultatuppföljning, särskilt i och med regeringsskiftet 2005 då staten stärkte tillsynen över skolan.

Norge bjöd in OECD:s experter igen 2010 med syfte att få belyst effekten av dessa satsningar. Inför den nya genomlysningen författade Utdanningsdirektoratet (Norska Skolverket) en egenvärdering Utdanningsdirektoratet, Country background report (2010).

Egenvärderingen låg till utgångspunkt för OECD:s följande granskning, men OECD:s experter genomförde även egna intervjuer (under en veckas besök). Efter ett år lämnades följande rapport OECD Reviews of Evaluation and Assessment in Education (2011) (eller i pdf). Rapporten ingick i en vidare internationell granskning där även Sverige granskades, vilket jag återkommer till, med fokus på utvärdering och bedömning: OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes.

De policyrekommendationer expertgruppen lämnade till Norge var (något förenklat):

  1. Fortsätt och förstärk arbetet med nationell kvalitetsuppföljning (NKVS).
  2. Utveckla tydligare lärandemål (betygskriterier) för att underlätta bedömningen av elever.
  3. Utveckla tydliga standards för vilken kompetens som krävs för att vara lärare/undervisa i specifika ämnen (jfr lärarlegitimation). Främja möjligheter till lärarfortbildning.
  4. Stärk skolledares kompetens att bedöma lärares arbete och skicklighet, samt att leda/utmana lärarna utifrån dessa bedömningar.
  5. Skapa tydliga karriärvägar för lärare med utgångspunkt i bedömning av deras skicklighet.
  6. Stärk den externa utvärderingen av skolorna men i syfte att utveckla ramverk för lokal självutvärdering.
  7. Utveckla utvärderingsverktyg för att bättre fånga arbetsprocesser i skolan och inte enbart resultat.
  8. Stärk den nationella resultatuppföljningen av kommunernas resultat.
  9. Utveckla resultatrapporteringssystemet så att det blir mer överskådligt (digitalt).
  10. Utveckla användningen av nationella prov så att det går att dra nationella slutsatser. (se s. 133ff.)

Överlag bedömdes dock Norge vara på rätt väg. Norge har också lagt vikt vid att balansera tillit och accountability vad gäller utvärdering och bedömning (se rapporten Balancing trust and accountability?- The Assessment for Learning Programme in Norway). Därmed bejakar man även OECD:s intresse för Bedömning för lärande (se här).

Sverige har inte haft samma policysamarbete med OECD som Norge, men i den motsvarande rapporten för Sverige ser vi liknande teman där Sverige överlag får beröm för att av sig själv så att säga slagit in på den rätta vägen: OECD Review of evaluation of assessment in education, Sweden. OECD pekar först på några styrkor och svagheter i Sverige (något förenklat):

  1. Sverige producerar mycket högkvalitativa data om sitt utbildningssystem men behöver bli bättre på att använda dessa.
  2. Det finns en stor tillit till den lokala nivån vilket främjar professionalism, men leder också till stora variationer i kvalitetsarbetet.
  3. Svenska bedömningar är allsidiga och såväl lärares bedömningar som nationella prov täcker in komplexa kunskaper. I de yngre åldrarna är bedömningarna främst formativa. Problemen uppstår i betygssättningen då svenska lärare rättar nationella prov själva.
  4. Det finns en hög tilltro till lärarna men de får litet professionellt stöd och feedback. Den svenska individuella lönesättning är relativt unik, men lärarna får snarare lön för ansträngning än prestation.
  5. Kopplingen mellan skolors/kommuners egna kvalitetsgranskningar och statens behöver stärkas. Den nationella kvalitetsgranskningen har fått för mycket slagsida åt skolinspektion vilket kan leda till att skolor inte uppfattar att deras kvalitetsarbete tas på allvar.
  6. Sverige producerar och offentliggör mycket data, men frågan är om data tjänar sina syften. För mycket tyngd ligger på betyg som resultatmått med den svagheten att lärarna själva producerar dessa resultat. Vidare saknas systematiska analyser på nationell nivå om prestationsskillnaderna mellan kommuner. (s. 8-10)

OECD följer upp sin analys av styrkor och svagheter med några konkreta råd:

  1. Sverige behöver en tydlig utvärderings och bedömningspolicy/plan som anger tydliga krav på utvärdering och bedömning på olika nivåer samt klargör ansvaret på de olika nivåerna. Sverige bör systematiskt kartlägga olika utvärderings och bedömningsmetoder och de kompetenser som idag finns i syfte att optimera bedömningspraktiken på olika nivåer.
  2. Sverige behöver stärka den kommunala uppföljnings och utvärderingskompetensen. Den policy som utvecklas på nationell nivå måste vara i samklang med kommunala behov av t.ex. resultatanalys.
  3. Öka reliabiliteten i de nationella proven med hjälp t.ex. av extern rättning.
  4. Det är lovvärt att Sverige fått tydligare kunskapskrav (Lgr 11) men det räcker inte utan staten behöver arbeta fram verktyg för lärares bedömningspraktik, t.ex. elevexempel för de olika kravnivåerna.
  5. Lärare behöver fortbildning i såväl summativ som formativ bedömning och särskilt vad gäller de dagliga formativa bedömningarna i klassrummet. Lärare i de yngre skolåldrarna behöver bli bättre på att tolka resultaten från diagnostiska prov.
  6. Sverige behöver formalisera hur lärare bedöms och värderas efter förtjänst så att det även blir tydligt vad som är en god undervisningspraktik.
  7. På lokal nivå måste det finnas utrymme för feedback, utvecklingsdialog och kollegialt lärande.
  8. Det behövs tydliga planer på skolnivå för hur lärares arbete ska utvärderas och bedömas.
  9. Sverige måste bli bättre på att bygga extern inspektion på intern självbedömning. Detta minskar kostnaden för inspektionen, ökar kvaliteten i den samt ökar motivationen hos skolor att utvärdera sig själva.
  10. Om den regelbundna inspektionen blir mer internt producerad via självbedömning kan den externa inspektionen fokusera på riskområden.
  11. Hjälp skolledare att bli bättre på att använda skolutvärderingar.
  12. Utforska olika sätt att förbättra den nationella uppföljningen via nationella prov, t.ex. genom sambedömning eller sampleutvärderingar.
  13. Sverige måste öka mobiliteten i sina resultatdata så att de enklare blir tillgängliga för systemets olika aktörer; mellan kommun och stat, mellan de statliga myndigheterna och mellan myndigheterna och forskning. (s. 10-14)

OECD:s Reviews of Evaluation and Assessment in Education var som sagt en stor internationell granskning som omfattade flera andra länder än Norge och Sverige. 2013 höll OECD en uppsummeringskonferens av projektet. Denna förlades till Norge, som uppenbart arbetat föredömligt med sina utvecklingsområden och ges möjlighet att visa upp The Norwegian Model (se här).

Norge har alltså varit en god elev till OECD vilket belönats enligt den måttstock OECD använder för att mäta skolresultat, PISA-undersökningen, och i enlighet med de ramverk OECD tagit fram för välfungerande utbildningssystem: OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes. Det intressanta är att Sverige i större utsträckning än Norge redan uppfyllt OECD:s grundläggande ”krav” på utvärdering och resultatuppföljning genom våra nationella prov, betygsstatisk offentligt via SIRIS/SALSA, nationell utvärdering och deltagande i internationella kunskapsmätningar, karriärvägar för lärare och yrkesstandards via lärarlegimtiationen. Det OECD pekar ut som våra förbättringsområden är snarare att se över hur vi använder de redskap vi både sedan länge och alldeles nyligen etablerat, att dessa harmonieras med varandra för olika systemnivåers syften samt att vi på alla nivåer i skolsystemet vidareutvecklar kompetensen att utvärdera och bedöma.

Vad den rapport, som väntas komma om drygt ett år ytterligare kan komma fram till utöver det vi idag redan idag vet är styrkor och svagheter ska bli spännande att se. Vilka ytterligare strängar har OECD på sin lyra? Det har ju inte precis saknats konkreta och tydliga förslag hittills. Kanske kommer det om ett år att handla om att se över hur och om dessa redan lagda förslag genomförts och vem som har haft ansvaret för det?

Försämringens historia, del 5

Publicerat av
1

I ljuset av dagens PISA-rapport kan det vara en poäng att åter reflektera kring vilken roll bilden av försämringar spelar när det gäller att forma samtalet om skolan. En distinktion som jag tror är av värde är den mellan absoluta och relativa kunskapsbrister. När PISA-studierna riktar fokus mot kunskapsbrister är det alltid fråga om relativa kunskapsbrister: att svenska elever presterar sämre än tidigare år, eller sämre än elever i andra länder. Genom jämförelser över tid finns det utrymme för att uttala sig om kunskapsbrister i termer av försämring. Denna problembeskrivning skapar nästan oundvikligen en viss typ av tillbakablickande lösningsstrategi. Om något har försämrats, bör vi rimligen försöka att återuppliva detta något som gjorde att vi tidigare presterade så mycket bättre.

Denna lösningsstrategi behöver inte i sak vara felaktig, men den har en blind fläck: den ser inte framtiden. Synliggörandet av försämring tenderar att osynliggöra frågan om vilka kunskaper vi tror oss behöva i framtiden.

Ett annat sätt att tala om kunskapsbrister återfinns exempelvis i betänkandet från 1946 års skolkommission. I ett avsnitt beskrevs där en studie som gjorts av värnpliktigas kunskaper i samhällsorientering. Slutsatsen var att kunskaperna var mycket låga:

Det torde vara en allmän mening, att ungdomens kännedom om samhällsfrågor är mycket mindre, än man skulle önska. Denna uppfattning har bestyrkts av undersökningar av de värnpliktigas samhällsorientering, vilka företagits för ett par år sedan. Omkring 50 procent visste, att den i Sverige vanligaste vaccinationen är avsedd som skydd mot smittkoppor, cirka 35 procent kunde räkna upp de politiska partierna i riksdagen, och mindre än 20 procent kunde rätt ange vilka av följande tre grupper som förlorar på en försämring av penningvärdet: fordringsägare, skuldsatta, personer med oförändrad penninglön (SOU 1948:27).

Detta var inte en relativ kunskapsbrist, det var inte en minskning av kunskaperna som beskrevs som problemet . Kunskapsbristen var absolut, den var ett problem eftersom kunskaper om det allt mer komplicerade samhället antogs bli allt viktigare. Skolkommissionen drev därför inte någon tes om att äldre ämnen skulle återupprättas. Man argumenterade exempelvis inte för att läroverkens ”Historia med samhällslära” skulle ges fler timmar. Nej, det man istället argumenterade för, det var att den kommande enhetsskolan skulle få ett helt nytt ämne. Det ämnet skulle heta samhällskunskap.

Vilket är elevens rätta resultat?

Publicerat av
3

Det finns de som påstår att det är lätt att mäta kunskaper. Allt som oftast står det i tidningarna att elever får för höga betyg eller fel betyg med utgångspunkt i jämförelser mellan de betyg lärare har satt på elevernas kunskaper och elevers resultat på de nationella proven. Redan här förstår man kanske att det inte är helt lätt, för vem har egentligen mätt rätt? I dagsläget och på goda grunder som jag ska visa, ska emellertid inte de nationella proven styra lärares betyg. De ska vara ett stöd i betygssättningen. Anledningen är att det inte helt objektivt går att mäta den typ av kunskaper våra läroplaner anger att eleverna ska lära sig, och att mätandet i sig påverkar vad och hur eleverna lär sig. Detta brukar diskuteras i termer av validitet och reliabilitet. Validitet, giltighet, handlar ytterst om hur säkert vi kan uttala oss om ett resultat utifrån hur säkra vi är på vad vi har mätt, eller som Samuel Messick uttrycker det i sin klassiska artikel Validity:

Validity is an integrative evaluative judgment of the degree to which empirical evidence and theoretical rationales support the adequacy and appropriateness of inferences and actions based on test scores or other modes of assessment. (Messick 1989:13)

Messick diskuterar två hot mot möjligheten att göra valida tolkningar av ett testresultat, dels construct under representation, dels construct irrelevant variance. Det första handlar om att ett prov inte tillräckligt förmår fånga skillnaden mellan elever kring det vi ville mäta. Om vi t.ex. har ett flervalsprov i historia så fångar det elevernas skilda kunskaper kring historiska fakta men inte huruvida eleverna kan konstruera ett historiskt argument, eller för att ta något uppenbart, att muntlig förmåga inte mäts på ett skriftligt prov. Alltså, construct under representation handlar om att viktiga aspekter av ett kunnande är underrepresenterade i ett prov.

Construct irrelevant variance handlar om motsatsen, uppgiften mäter något som den inte borde mäta. I ett test i matematik kan frågorna vara formulerade med ett så pass svårt språk att vi inte vet om skillnaden mellan eleverna beror på läsfärdighet eller matematisk färdighet. Reliabilitet, trovärdighet, handlar om i vilken grad resultaten på ett test kan bero på slumpmässiga faktorer, eller faktorer utom testarens kontroll. Paul Black och Dylan Wiliam (2011) menar därför att reliabilitet ytterst är en fråga om construct irrelevant variance, alltså om validitet. Har ett test låg reliabilitet går det inte att göra valida tolkningar av resultatet eftersom man inte vet vad resultatet beror på.

En vanlig metafor för reliabilitet och validitet är nedanstående bild (se t.ex. Koretz 2008):

validitet och reliabilitet

Den fjärde bilden ses som både reliabel och valid. Men säg nu att kursplanen definierar hela tavlan som mål för undervisningen. Då får du en påtaglig construct under representation i det fjärde fallet. Snarast är det då den andra bilden som ger bäst construct representation, men mot en betydligt lägre inre konsistens. Man får alltså i praktiken i viss utsträckning bestämma sig för om man ska betona reliabilitet eller validitet, eller hitta någon lämplig kompromiss – vilket inte är det lättaste.

Det finns tre övergripande hot mot reliabiliteten:
1) Olika bedömare gör olika tolkningar av elevernas svar
2) Elevernas dagsform påverkar hur de svarar och om de kan eller inte
3) Olika uppgifter men som mäter samma kunskaper uppfattas på olika sätt av olika elever.

Ett sätt att öka reliabiliteten är genom att införa fler frågor på varje mätområde. Vi vill kanske ge eleverna tre olika möjligheter att visa att de förstår ett specifikt moment. Om vi på detta sätt vill öka den så kallad interbedömarreliabiliteten från ett läge där oberoende bedömare kommer till samma slutsatser i 64 procent av fallen till 81 procent av fallen, behövs en uppgiftsmängd som förlänger provtiden 5 till 6 gånger menar Black och Wiliam (2011), dvs. upp mot 25-30 timmar om vi tar ett Nationellt prov som exempel. Skulle vi göra det får vi dock ett annat problem – eleverna blir så trötta att de underpresterar. Alternativet är att vi gör ett test som täcker in färre områden, men då får vi alltså underrepresenterade kunskapsområden. Det hela handlar om klassisk testteori. Vanligtvis brukar man beräkna hur många uppgifter som behöver adderas till ett prov för att uppnå en viss reliabilitet. Det gör man med hjälp av Spearman-Browns formel. De flesta provkonstruktörer väljer en balans mellan dessa poler med den uppenbara konsekvensen att det finns mätfel även i de allra mest ambitiöst konstruerade proven. Ska man göra vettiga tolkningar av ett prov måste man därför ha en aning om mätfelets storlek. Black och Wiliam (2011) har ett resonemang om hur man kan tänka om det genom att ha en hypotes om elevernas rätta resultat. Det finns inget meningsfullt prov där elever skulle få samma resultat varje gång. Elever gör olika fel vid varje mättillfälle och bedömare gör olika rättningar vid olika tillfällen. Men om man lade ihop en elevs resultat på fem till sex liknande prov under en begränsad tid skulle man få fram ett genomsnittligt resultat som kallas the true score – det rätta resultatet. Ett sätt att åstadkomma detta i praktiken är att arbeta med split half-metoden som innebär att man gör ett prov som kan delas i två delar. Sedan jämför man utfallet på de två delarna. Är det hög överensstämmelse har uppgifterna en hög inre konsistens avseende vad de mäter. Överensstämmelsen är dock också beroende av hur man delar upp testet och därför måste man korrelera alla tänkbara rimliga sätt att dela testet på med varandra. Då får man ett värde som kallas Cronbachs alpha och som uttrycks mellan 0 och 1, där 0 betyder att proven ger slumpmässiga utfall och 1 att provet är helt reliabelt – varje gång vi gör det får vi samma resultat. En vanlig uppfattning är att Cronbach alpha bör ligga på 0.7 och uppåt om testet ska vara användbart, men det beror givetvis på vad det faktiskt är man mäter. För att förstå vilken effekt olika grader av reliabilitet faktiskt kan få t.ex. för vilket provbetyg en elev får behöver vi kombinera Cronbach alpha med ett mått på elevens sanna resultat (the true score).

För att undersöka hur provets inre konsistens påverkar resultatet för en elev kan Cronbach alpha sättas i relation till standardavvikelsen, dvs. den genomsnittliga avvikelsen från medelvärdet. En bra illustration till hur man kan räkna finns i Black och Wiliam (2011). På en normalfördelningskurva faller 68 procent av resultaten inom en standardavvikelse och 96 procent inom två standardavvikelser. Genom att kombinera dessa mått går det att få fram ett förväntat standardfel, SEM. Standardfelet anger för varje reliabilitetsnivå den förväntade spridningen av felprocent inom en och samma faktiska kunskapsmängd.

Formeln för SEM är X √(1-r)

Om r är reliabilitet så betyder detta att SEM på ett prov med en reliabilitet på 0.85, där man kan få 50 poäng och där standardavvikelsen (X) är 7,5 poäng blir 2,9 poäng (SEM=7,5√(1-0,85)=2,9). Det innebär att den ”sanna poängen” för en elev med 35 provpoäng till 68 procents sannolikhet ligger mellan 32 och 38 poäng. Vill man ha 95 procents säkerhet kan man säga att den ligger mellan 29 och 41. Detta är i själva verket en approximation, men används allmänt i professionell provanalys. Detta innebär hursomhelst att i en klass på 30 elever så är det minst en elev, vi vet aldrig vem, som avviker mer en 12 procent i positiv eller negativ riktning, det kan vi heller inte veta, från sitt riktiga resultat. Minst tio elever avviker 6 procent från sitt sanna resultat relaterat till provens bristande inre konsistens (som i det här exemplet trots allt inte var så farligt hög). Effekten för den enskilda individen kan dock bli stor varför professionella testkonstruktörer gärna är extra försiktiga med vilka slutsatser de drar från ett prov. Black och Wiliam skriver:

even the best tests can be widly inaccurate for a few individual students /…/ This is why testing experts invariably say that high-stakes decisions should never be based solely on the results of a single test. (Black & Wiliam 2011, s. 252)

Det är också av detta och likande skäl som nationella prov inte ska styra elevernas betyg. Om de gör det kommer vissa elever ändå att få fel betyg. Staten har därför valt att lita också på lärarnas omdömen. Frågan som uppstår är emellertid om lärares betyg hamnar ännu mer fel. Det kan vi inte veta med mindre än att vi forskar mer om hur lärare tänker när de ger eleverna deras betyg. Vi vet alltså inte vilken bedömning det är som är mest construct relevant, provbetyget eller lärarnas betyg. Men om vi bara håller oss till reliabiliteten i bedömningarna av proven går den att förbättra med olika medel. Ett sätt har varit att erbjuda elevexempel för olika betygsnivåer så att lärarna vet vad de ska titta efter. Det kvarstår dock fortfarande en stor del bristande bedömaröverensstämmelse, särskilt i uppsatsdelarna. Ett rimligt nästa steg är att låta lärare rätta proven tillsammans i grupp. Man rättar alltså sina egna elevers resultat och de andra lärarnas gemensamt. Det skulle göra att lärarna ”skrapar av” varandras extremer och därigenom, om gruppen är någorlunda heterogen, men inte nödvändigtvis större än 4-5 lärare, når en norm som skulle likna den liknande grupper skulle komma fram till (för en bra beskrivning av hur det praktiskt kan gå till se här och här). Det krävs alltså inte en särskilt stor kritisk massa för att enas om den mest rimliga tolkningen. I en sådan process skulle lärarna också utveckla sin ämneskompetens i det att de lära av varandra vad som är viktigt att fästa uppmärksamhet vid i olika moment av ämnet. Att låta lärare kontrollrätta varandras elevers anonymiserade prov menar jag däremot är en sämre väg att gå. Det förstärker misstroendet till lärarna och det blir inte nödvändigtvis rättvisare för eleven. Framförallt tar det bort ett tillfälle för lärare att lära av varandra. Bedömning av elevers kunskaper kan aldrig ske helt objektivt – däremot kan det utföras med en tillräckligt hög grad av intersubjektivitet för att tillfredsställa både individens och samhällets krav på likvärdighet!

Referenser

Black, Paul and Wiliam, Dylan (2011). The reliability of assessments. In John Gardner (ed.). Assessment and Learning. 2nd edition Los Angeles and London: Sage Publications, p. 243–263.

Koretz, Daniel M. (2008). Measuring up: what educational testing really tells us. Cambridge, Mass.: Harvard University Press

Messick, Samuel (1989). Validity. In Robert L. Linn (ed.): Educational Measurement. 3d edition 1993. Phoenix: The Oryx Press, p. 13–103.

Försämringens historia, del 2

Publicerat av
Svara



Emil Häggs De svenska läroverkens förfall (1915) har nästan hundra år på nacken, och att läsa den idag är en egendomligt dubbel upplevelse. På många sätt känns dess sätt att utmåla en kris för den tidens läroverk oerhört avlägsen, men i andra avseenden känns det som att väldigt lite har hänt.

Hägg målade upp en bild av att den högre utbildningen – alltså utbildningen i läroverken – höll på att utarmas. Problemen var att allt för många sökte sig till läroverken, att allt för många släpptes in, att kunskapskraven var för låga och att resultaten därför blev katastrofala.

Detta budskap hamrades in med hjälp av en disparat samling av fakta och retoriska strategier. Statistik, internationella jämförelser och exempel på vilka felaktiga provsvar av elever blandades med Goethe-citat och en allmän verbal aggressivitet.  Uppfattningen att läroverken tog emot alldeles för många elever demonstrerades genom att svensk statistik jämfördes med utländsk statistik, en jämförelse som skulle visa att Sverige var skrämmande slappt i sina krav på eleverna. Så kunde Hägg konstatera att studentexamen i Frankrike 1908 avlades av knappt 7000 elever – d v s 0,17 promille av befolkningen. I Sverige var andelen personer som tog studentexamen nästan dubbelt så stor. Hela 0,30 promille av befolkningen tog under ett år studentexamen. Hägg såg denna tillväxt – som också var märkbar på universitet, högskolor och lärarutbildningar – som djupt problematisk.

Det är tydligt, att här föreligger en fullkomligt onaturlig tillväxt av ett organ i den svenska samhällskroppen, att här försiggår en förskjutning av de sociala skikten, vars snabbhet innebär den största fara (s. 17).

Sällan har väl 0,3 promille av befolkningen förefallit så hotfulla. Hur kunde då Hägg vara så säker på sin sak? Varifrån hämtade han sin bild av läroverkens förfall? Han hade inte själv arbetat inom läroverken, men däremot hade han arbetat som tyskalärare på Göteborgs Handelsinstitut, och där hade han haft elever som tidigare gått i läroverk. Deras förkunskaper uppfattade han som mycket svaga. Han mötte elever som var inte bara var ”outvecklade och obildade” utan som dessutom var ”utvecklingsomöjliga och obildbara.” Men det var inte bara egna erfarenheter som lyftes fram. Han hänvisade också till resultat i realskoleexamen, där antalet icke godkända blev ett mått på undervisningens bristande kvalitet. Att det fanns en inflation på högre utbildning exemplifierades också – för kanske första och sista gången i utbildningshistorien – med kriminalitet inom postväsendet. I ett land där allt för många hade en för hög utbildning, blev överklassen för stor utan möjlighet att tjäna stora pengar. Genom att här hänvisa till utländska undersökningar – ett säkert sätt att förefalla objektiv och vederhäftig – kunde han här antyda att hög utbildning som når flertalet i själva verket skapar kriminalitet:

Det har även i utländska arbeten påpekats, att intet land har att uppvisa så mycket förskingringar som t. ex. det svenska postverket (Wikmark, Die Frauenfrage) (s. 180).

Mest av allt odlade Hägg en retorik som gick ut på att utmåla Sverige som ett land som utmärkte sig för sin slapphet och kravlöshet. Han talade om ”silkesvantarnas pedagogik”, att Sverige höll på att bli ”ett land av morsgrisar.” Han talade om att faktakunskaper och grammatikplugg hade nedvärderats, och att vi behövde hålla ”det tråkiga arbetets fana högt.” Han menade att man inom läroverken var ”hypnotiserad av en panisk förskräckelse” för att pojkarna skulle lära sig någonting grundligt och framförallt utantill. Han konstaterade brister i elementära kunskaper, och beskrev det som resultatet av den ”renodling av slapphetsbaciller” som bedrevs inom tidens läroverk.

Inför denna svada av retorik, statistik och förakt för skolans arbete kan man tänka sig att en och annan läsare blev svarslös. Jag känner inte närmare till vilket mottagande boken fick, men en mycket kritisk text publicerades i tidskriften Hertha. Där fick Hägg smaka på sin egen medicin: sarkasmen. Den kritiska recensionen är ett exempel på att det under denna tid inte fanns någon fullständig enighet om hur skolans utveckling skulle förstås. Beroende på utkikspunkt kunde väldigt olika bedömningar göras. Där vissa betraktade en framryckning – för folkskolan och för flickors möjlighet till utbildning – såg en sådan som Hägg bara förfall. Även om han sökte underbygga sina resonemang med statistik och förnuftiga resonemang, var den ideologiska grunden för hans ställningstaganden tydlig. Föreställningen om förfall var ännu inte hegemonisk.

 

Försämringens historia, del 1

Publicerat av
4

Skolan är ett av de tydligaste exemplen på en institution som sysslar med individers utveckling. Trots detta är samtalet om skolan inte alls dominerat av detta. Tvärtom är det frågan om försämring – av skolan som helhet – som står i centrum. Det är idag närmast omöjligt att finna en debattartikel om skolan som inte tar sin utgångspunkt i denna påstådda försämring. Det verkar närmast oanständigt att skriva en debattartikel utan att börja med att försäkra läsaren om att man minsann är inläst på de senaste undersökningarnas allra mest deprimerande slutsatser. Denna försäkran fyller idag samma funktion som bordsbönen en gång fylld i respektabla, kristna hem: som en obligatorisk inledande ritual som måste klaras av innan man tar sig an sitt egentliga ärende.

Denna försämringens och krisens tankefigur bygger på antagandet om att all eventuell försämring är av relativt sent datum. Dess skrämmande karaktär skulle gå om intet om försämringen hållit på i hundra år. Känslan av kris blir som störst om vi får känslan av att vi precis i detta nu har knuffats ned i en djup brunn, och handlöst faller. Det är också en tankefigur som bygger på vissa antaganden om vad som är viktigt att lära sig och hur man rent praktiskt kan bedöma om en skola förbättras eller försämras.

Mot bakgrund av detta har jag funderat över hur man skulle kunna skriva försämringens, eller snarare försämringstankens, historia. Vilken roll har egentligen föreställningen om skolans försämring spelat i historien? Vilka motsvarande exempel finns det på ett utbildningens krismedvetande, och vilken innebörd har lagts i försämringar? Jag planerar att i en bloggserie presentera några reflektioner och empiriska fynd i frågan. I denna första del finns det anledning att uppmärksamma ett födelsedagsbarn som idag fyller jämnt.

Den 26 april 1983 släpptes en rapport som kan anses ha slagit an tonen för de senaste decenniernas samtal om skolan. Den amerikanska rapporten A Nation at risk, hävdade att det amerikanska skolsystemet befann sig i en allvarlig kris. Rapporten publicerades under en tid när intresset för utbildningsfrågor var lågt. 1950-talets Sputnik-kris började bli bortglömd och Ronald Reagan talade rent av om att lägga ned utbildningsdepartementet.

Något oväntat blev dock rapporten en succé. Plötsligt skrev massmedia ständigt om skolan, och själva rapporten ska ha tryckts i 600 000 exemplar (Holton 1984). Delar av förklaringen till det stora genomslaget torde vara rapportens närmast dystopiska anslag. A nation at risk var en katastroffilm i rapportformat som inte väjde för de stora orden. Man menade att

the educational foundations of our society are presently being eroded by a rising tide of mediocrity that threatens our very future as a Nation and a people.

I krigiska ordalag förklarade man vidare var skulden för denna försämring skulle läggas.

If an unfriendly foreign power had attempted to impose on America the mediocre educational performance that exists today, we might well have viewed it as an act of war. As it stands, we have allowed this to happen to ourselves. We have even squandered the gains in student achievement made in the wake of the Sputnik challenge. Moreover, we have dismantled essential support systems which helped make those gains possible. We have, in effect, been committing an act of unthinking, unilateral educational disarmament.

30 år senare hänvisas det fortfarande till denna egentligen mycket oansenliga rapport. Den hade kunnat bli en anonym rapport i mängden, men istället för att bli hyllvärmare åt skolbyråkrater blev den en tändande gnista för de senaste decenniernas diskussion om skolpolitik i USA och stora delar av resterande världen. Som bekant är det ett samtal dominerat av en föreställning om kris och försämring, med betyg och tester som lösningar. Rapporten är därför än idag kontroversiell. Där vissa ser en destruktiv svartmålning av skolan har andra sett ett nödvändigt uppvaknande.

I den planerade bloggserien ska jag dock försöka att tidsmässigt hålla mig på andra sidan om denna diskurs. Det är alltså försämringstankens tidiga historia som jag mest kommer att uppehålla mig vid, där jag – preliminärt – kommer att fokusera på 1900-talets första halva. Det jag är nyfiken på är bland annat dessa frågor: i vilka avseenden har man ansett att skolan har försämrats? hur har denna försämring förklarats? vilka åtgärder har man föreslagit som lösningar på de försämringar som man iakttagit? I samband med detta kommer jag också beröra det omvända fenomenet: idén om att skolan förbättras. Under vilka förutsättningar och med vilka belägg uppstår och sprids föreställningen om att skolan förbättras? Det ska sägas att i perioder har denna berättelse varit den dominerande, medan berättelserna om försämring stundtals har handlat om vissa inslag som kanske kan verka perifera.

Sammantaget tänker jag mig att bloggserien kan bidra med några perspektiv kring vad skolan egentligen syftar till. När vi säger att skolan blir bättre eller sämre framställs det ofta som om detta vore en fullständigt neutral fråga, som på ett fullständigt objektivt sätt kunde mätas. Men när frågan studeras historiskt blir det också tydligt att bilder av försämring och förbättring är genomsyrade av föreställningar om vad som utgör en god skola och vilka kunskaper som värderas högt.

Så, häng med på en exposé över 1900-talets kanske mest deprimerande påståenden om skolan!

 

Snabbkurs för Tomas Tobé och andra som inte hunnit sätta sig in i de senaste 20 årens forskning om bedömning i skolan

Publicerat av
15

Med anledning av diverse politiska utspel om fördelar med mer betyg, prov och läxor och det lättvindiga avfärdandet av kritiken mot dessa utspel, har jag tagit fram en Youtube-kurs för stressade utbildningsdebattörer. Den börjar med Skolverkets material kring värdet av en skola på vetenskaplig grund och beprövad erfarenhet. Därefter följer intervjuer och föreläsningar med några av väldens främsta forskare kring motivation, lärande och bedömning. För dem som föredrar föreläsningar på svenska har jag även lagt till några av mina egna föreläsningar om bedömning och lärande.

Flera duktiga lärare och rektorer som riktat kritik mot politikernas betygsiver har lättvindigt avfärdats som betygsmotståndare (t.ex. här). Kursen avslutas därför med tre exempel på utomordentligt lärararbete kring bedömning i syfte att illustrera hur kreativa och duktiga lärare flyttat gränserna för bedömning långt bortom ” den eviga betygsfrågan”.

Målet med kursen är att studenten ska kunna uttala sig om betyg och bedömning på ett sett som ligger i fas med forskning om motivation, lärande och bedömning och ett modernt samhälles förväntningar på skolan.

1. Att bygga en skola på beprövad erfarenhet och vetenskaplig grund

Skolverkets filmer om beprövad erfarenhet, vetenskaplig grund och evidens

http://www.youtube.com/watch?v=6ABUlzbpVVE&list=PLoRTp-jkn2Oimmmmocg31FmLPhv-Lo3nd

http://www.youtube.com/watch?v=shInnMH53Ok&list=PLoRTp-jkn2Oimmmmocg31FmLPhv-Lo3nd&index=1

http://www.youtube.com/watch?v=JJ6_Y4cDHVc&list=PLoRTp-jkn2Oimmmmocg31FmLPhv-Lo3nd

2. Bedömning och motivation

Professor Carol S. Dweck

http://www.youtube.com/watch?v=aPNeu07I52w

http://www.youtube.com/watch?v=TTXrV0_3UjY

http://www.youtube.com/watch?v=ICILzbB1Obg

Professor Edward Deci

http://www.youtube.com/watch?v=VGrcets0E6I

Daniel Pink

http://www.youtube.com/watch?v=rrkrvAUbU9Y

3. Bedömning och självuppfattning

Carol Dweck – Growth mindset video gallery

http://www.mindsetworks.com/webnav/videogallery.aspx

4. Bedömning och lärande

Norska Utdanningsdirektoratets föreläsningssamling om bedömning

http://beta.udir.no//Vurdering/Templates/Pages/QuestionOverviewPage.aspx?id=33634&epslanguage=no

Professor Dylan Wiliam

Embedding formativ assessment
http://www.youtube.com/watch?v=B3HRvFsZHoo

Del 1 (1 h) föreläsning
http://www.youtube.com/watch?v=krbTilxjayM
Del 2 (1 h) föreläsning
http://www.youtube.com/watch?v=PXBUlbe1C1I
Del 2 (25 min) paneldiskussion
http://www.youtube.com/watch?v=YVPnEz2mpMI

Keynote, SSAT National conference 2012 (27 min)
http://www.youtube.com/watch?v=r1LL9NX1hUw

The Classroom experiment. Dylan Wiliam utvecklar undervisningen med hjälp av formativ bedömning
A damaging classroom habit Hands up
The lollipop sticks
The classroom experiment del 1
The classroom experiment del 2

Professor Christian Lundahl

Skillnaden mellan summativ och formativ bedömning
https://www.youtube.com/watch?v=GEQWcf3arKw

Tydliggöra mål och kunskapskrav
https://www.youtube.com/watch?v=s0r–Iu2ClM

Skapa uppgifter som synliggöra lärandet
https://www.youtube.com/watch?v=Ow37GNG2obk

Återkoppling som för lärandet framåt
https://www.youtube.com/watch?v=O5m2Rp9MRIs

Aktivera eleverna som resurser för varandra
https://www.youtube.com/watch?v=eP0KrXKgF64

Aktivera eleven som ägare av sitt eget lärande
https://www.youtube.com/watch?v=YhWoWpboaSc

5. Moderna svenska lärares arbete med bedömning

Katarina Lycken om Flippad bedömning med hjälp av surfplatta

http://www.pedagogstockholm.se/Utveckling/Bedomning-och-betyg/Verktyg-for-formativ-bedomning/Flippad-bedomning/

Åsa Wennersten om kamratbedömning – Tvår stjärnor och en glödlampa

http://www.youtube.com/watch?v=nmYFhjDFlE0

Daniel Barker om digitala responssystem

http://www.youtube.com/watch?v=UPeAT06afds

Kursen examineras genom självvärdering. Lycka till!

De nya moderaternas nya skolpolitik

Publicerat av
3

Det slog ned som bomb, moderaternas senaste skolpolitiska utspel. Att alliansens största parti valde att gå ut och övertrumfa Björklund när det gäller betygsextremism har förvånat och inte minst upprört många lärare (t ex här och här). Hur är det möjligt att ett parti som gärna vill framstå som mainstream nu vill dela ut betyg till nioåringar? Och var kommer denna plötsliga brådska att hinna tillbaka till det förflutna ifrån?

I Fredrik Reinfeldts bok Det sovande folket från 1993 kan vi kanske få ett svar. Den må ha 20 år på nacken, men publicerades när Reinfeldt hade suttit två år i Riksdagen och rimligtvis hade format sina politiska värderingar. Bokens kapitel blandar olika genrer, och inleds med – en novell! Vi serveras här en dystopisk skildring av ett framtida välfärdssamhälle som spårat ur. Det är ett samhälle där alla är lata, passiviserade och saknar känsla av mening. Berättelsen inleds med att en 28 årig man dör. Det visar sig att han drabbats av en epidemisk sjukdom.

 

Han dog precis som en lång rad andra unga människor började göra den sommaren i vad som snart skulle komma att kallas 2000-talets farligaste och dödligaste epidemi. Fullt jämförbar med pest, smittkoppor eller AIDS. Han dog välfärdsdöden.

Nu till det verkligt intressanta. I karakteristiken av denne man nämns hans skolgång.

Han kom tidigt att tillhöra sovhjärnorna. Det var inget fel på dessa människors hjärnor, de bara utnyttjade en försvinnande liten del av sin kapacitet. Sovhjärnorna kunde tala, läsa och skriva. De hade gått i skolan och ofta varit ganska intresserade, till en början. Sedan hände inget mer. Sovhjärnorna tappade tidigt intresset för skolan, och för allting annat också. De visste att de aldrig skulle arbeta med någonting, det gjorde bara dårarna. Dårarna var de som bestämde, de tappade inte orken i skolan utan fortsatte anstränga sig, fast de inte behövde. Det var därför som sovhjärnorna kallade dem dårarna. Det var ingen som brydde sig om vad dårarna sa, det var ingen som orkade intressera sig. Dårarna servade välfärdsstaten. Sovhjärnorna såg dem nästan bara på TV och bytte då snabbt över till en annan av det dryga hundratal kanaler som fanns.

I Reinfeldts dystopi skildras alltså ett polariserat samhälle. En stor del av befolkningen är inte bara sjukligt lat utan föraktar dessutom de flitiga och duktiga politikerna som redan i skolan visade prov på sin goda karaktär.

Det måste förstås ha varit oerhört trist att bli kallad för dåre när man i själva verket är frisk och den som bestämmer. Men nu verkar moderaterna äntligen ha hittat ett läkemedel för sovhjärnorna. Betyg beskrivs som en synnerligen effektiv universalmedicin mot dålig arbetsmoral, och man lovar att dela ut den gratis. Lärarkåren och eleverna förväntas lydigt svälja. Nu ska det sovande folket minsann väckas igen. Denna gång börjar vi med skolbarnen.

P.S. Onsdagen den 27 februari uppmärksammas Det sovande folket på Kulturhuset i Stockholm i inspelningen av podcasten Flumskolan.

Hur var det att sätta betyg i årskurs 6?

Publicerat av
1

Nu är höstterminen 2012 slut. Det innebär att du som lärare i årskurs 6 har satt betyg för första gången. Det innebär att svenska 12-åringar för första gången på över 20 år fått betyg. Detta är en unik situation, då Sverige aldrig tidigare sänkt åldern för betygssättning och då det heller inte finns internationella erfarenheter av att sänka betygsåldern. Därför är det viktigt att följa upp och utvärdera lärares och elevers erfarenheter av detta och det är viktigt att göra det medan erfarenheterna är färska. Rutiner uppstår snabbt och det blir svårare att se skillnaden mellan det som var och det som har blivit.

Skolverket har inte fått regeringens uppdrag att utvärdera erfarenheterna av betygssättning i årskurs 6. I syfte att dokumentera detta unika skolhistoriska skeende har därför Skolöverstyrelsen.se bestämt att vi vill göra en enklare utvärdering kring hur du som lärare i årskurs 6 har upplevt det att sätta betyg för första gången. Om underlaget blir omfångsrikt kommer vi att kunna använda det som en förstudie till en större vetenskaplig ansökan hos Vetenskapsrådet om att studera bedömning i tidiga åldrar mer på djupet. I vilket fall som helst kommer vi sammanställa underlaget till en text här på skolöverstyrelsen.se. Vi kommer också skicka en text till Regeringen och Skolverket.

En erkänd utvärderingsmetod är att använda brev/mail som datainsamlingsmetod när man vill fånga bredd och perspektiv kring en fråga. Vi vill därför uppmuntra dig att skriva om dina erfarenheter av att sätta betyg första gången i ett mejl till skoloverstyrelsen@skoloverstyrelsen.se (fram till 15 mars). Ditt brev kommer behandlas med vetenskapliga krav på sekretess. Du kan med andra ord vara anonym. Har du en personlig e-postadress är det bara vi som kommer att läsa brevet. Vi följer Vetenskapsrådets etiska riktlinjer.

Vi önskar oss först och främst en rak och ärlig beskrivning av vad som har fungerat bra och vad som har fungerat mindre bra vid betygssättningen. Hur du som lärare har upplevt det att arbeta med kunskapskraven och att så småningom sätta själva betyget på eleven. Om du upplever att du fått tillräckligt stöd och kompetensutveckling. Vi är också intresserade om betygen i årskurs 6 påverkat samtalet om skolan mellan dig och dina kollegor. Vi är även intresserade av hur du upplever att betygen påverkat eleverna i positivt eller negativt avseende, och om du noterat olika reaktioner hos olika elever (t.ex. ökad motivation eller studieoro). Slutligen är vi också intresserade om betygen påverkat de möten och samtal ni haft med elevernas målsmän.

Du behöver inte förhålla dig till alla dessa frågeställningar utan väljer själv vad du skriver om och hur mycket. I det här läget är all information du kan bidra med om betygssättningen av intresse.

Läser du detta som rektor eller skolutvecklare hoppas vi du förmedlar vårt intresse till lärare i din organisation av att få ta del av deras röster om betygen i åk 6.

 

Christian Lundahl, Professor i pedagogik, Karlstad universitet och Stockholms universitet

Magnus Hultén, Fil dr, KTH

Joakim Landahl, Forskarassistent Stockholms universitet

Daniel Sundberg, Docent, Linnéuniversitet

Att lära av andra länders skolor innan TIMSS och PIRLS

Publicerat av
2

Idag publicerades resultaten av TIMSS och PIRLS, där elevers prestationer i matematik, läsning och naturvetenskap jämförs. Som man kunnat förutsäga har undersökningen skapat de sedvanliga reaktionerna runt om i världen där man antingen oroar sig eller gläds över det egna landets prestationer. Och snart kommer väl undersökningen följas av diverse försök att efterlikna de länder som klarat sig bättre än Sverige.

Att de internationella kunskapsjämförelserna är selektiva när det gäller vilka kunskaper som testas är självklart. I sin strävan att jämföra kunskaper mellan länder vars utbildningssystem kan vara ganska olika är det oundvikligt att de bara jämför begränsade aspekter av det som en skola kan göra.  Detta skulle man inte behöva beklaga om det inte vore för att de internationella kunskapsmätningarna har fått en så dominerande position i diskussionen om vad man lär sig i skolan. För vad lär vi oss egentligen av dessa mätningar, annat än att det går upp för vissa länder och ned för andra? Vad lär vi oss om vad man faktiskt lär sig i andra länder?  Vad lär de oss om vilka skolämnen de har, vilka kunskapskvaliteter som betonas, och vilka undervisningsmetoder som används? Hur avlägset ter sig inte nedanstående reportage från en utställning på Svenska skolmuseet 1924? Att ställa ut barns alster i skolämnet teckning andas en helt annan nyfikenhet på lärandets innehåll än vi idag bevittnar.