Etikettarkiv: PISA

PISA-chocken, vår tids kärnkraftsolycka?

Publicerat av
Svara

Den 10 augusti 1989 skrev Carl Bildt en debattartikel i vilken han kritiserade den socialdemokratiska utbildningspolitiken. Han skisserade en bild av en skola i kris, präglad av frånvaro, vandalism, läraromsättning, mobbning, stagnerande standard och ett ökande antal ”funktionella analfabeter” (DN-debatt 10/8 1989). Han anklagade sina politiska meningsmotståndare för att inte ta krisen på allvar, och föreslog en rad åtgärder: en ny lärarutbildning, ökad decentralisering, ett återupprättande av kvalitet och kunskaper i skolan, ett nytt betygsystem etc. Gillande hänvisade han till den amerikanska skolkrisrapporten A nation at risk, som han beskrev som ett föredöme. Även Sverige borde tillsätta en skolkommission. ”Även Sverige är i dag en nation vars framtid är i fara. Jag tror att en oberoende skolkommission är vad som behövs för att öppna ögonen på dem som i dag blundar och bereda vägen för nya lösningar.”

Somligt som Bildt tog upp känns idag välbekant, men annat känns enormt exotiskt.  Det är fascinerande att se hur han beskriver den samtida skoldebatten. Bildt menade 1989 att skolan knappt debatterades alls: ”tänk om ledande politiker på sina håll kunde ägna i alla fall lika mycket tid åt utvecklingen av Sveriges kunskaper som åt avvecklingen av Sveriges kärnkraft.”

Idag skulle en sådan vision inte längre kunna formuleras, eftersom den med råge har överträffats. Kärnkraftens avveckling hör man nästan ingenting om, i motsats till den allestädes närvarande diskussionen om skolan. Hotet mot framtiden består inte längre i en kärnkraftsolycka, utan snarare i ett katastrofalt resultat i PISA. Denna remarkabla omkastning, som också sammanfaller och är liktydig med en mer generell förskjutning från globalt delade problem till nationella egenintressen, har förstås stimulerats av det sätt varpå OECD mäter och presenterar skolresultat.

Imorgon, 11:00, är det dags igen, då resultaten från PISA 2015 släpps. I olika länder väntar man med spänning på resultaten, och alla ställer sig precis samma frågor: går det bättre för ”oss” eller sämre? Men ur ett globalt perspektiv är förstås frågan inte om en kris kommer visa sig, utan var den kommer uppstå. OECD säljer ofta in sina studier med ett optimistiskt budskap. Studier visar, menar de, att olika länder kan förbättra sig på kort tid. Men det de inte säger lika tydligt är att samma framgångssagor förutsätter motsvarande nedåtgång för andra länder. Eftersom mätningen är relativ bygger den enes framgång på den andres motgång. Bland annat av den anledningen är PISA ett instrument för en utbildningskris som saknar lösning. För det individuella landet kommer det alltid att finnas möjligheter att förbättra sin position. Men på en global nivå kan man snarare säga att problemen flyttas runt. Ett problemland kan bli ett succéland, men problemländer kommer per definition alltid att finnas. Denna globala konsolidering av krisen skiljer sig från hur vi förstår andra samhälleliga kriser. Ekonomiska kriser eller miljökriser kan, åtminstone i teorin och åtminstone tillfälligt, få en lösning, och detta är också målsättningen. I den mån skolkriser mäts på ett relativt sätt är detta en omöjlighet. OECD genererar på så sätt skolkriser per automatik, och därmed också mediautrymme till skolan.

 

Är det betygssystemets fel att Sverige underpresterar i PISA?

Publicerat av
5

Jag måste erkänna att jag blev lite irriterad när Andreas Schleicher i Aktuellt den 4 maj sa att svenska lärare ger elever betyg de inte förtjänar. Man måste fråga sig med vilken rätt han kan slå fast att det är lärarna som gjort fel när betygsnittet ökar trots att PISA resultaten sjunker? Jag skulle vilja pröva en annan hypotes – lärarna gör rätt men det svenska betygssystemet håller tillbaka kunskapsutvecklingen i svensk skola.

Den hypotes jag vill kasta fram är att mindre transparenta betygssystem gör det möjligt för lärare att över tid och omedvetet anpassa den generella kravnivån efter klassens bästa elever. Även om relativ betygssättning enbart tillämpas i ett mindre antal länder i Europa saknar många länder de tydligt formulerade betygskriterier som funnits i Sverige sedan 1996/96. Det gör att lärare i många europeiska länder i praktiken ändå följer en form av relativ betygsskala, där ytterlighetsbetygen tillåts vara ganska få. Det innebär en centrering mot mittenbetygen och en ökande konkurrens hos de duktigaste eleverna för de högsta betygen. Stämmer det skulle i så fall kraven på vad som är en normal prestation succesivt höjas. Den bristande transparensen gör att lärare inte kan anklagas för att vara för hårda i sina bedömningar. Samtidigt kan man misstänka att den höga graden av genomskinlighet som kännetecknar de svenska kunskapskraven bidrar till att elever får lättare att argumentera för att de förtjänar ett högre betyg än vad som är förankrat i djupet. Läraren kan inte ha diffusa krav av slaget att man vet vad som behövs för att klara sig, eller utgår ifrån personliga preferenser relaterat till att man själv är väldigt duktig i sitt ämne. Ställt på sin spets är frågan om rättsäkra bedömningar bidrar till att kunskapsnivån sjunker?

Värt att notera här är att OECD (2012) konstaterar att likvärdigheten i bedömning är bättre i utbildningssystem som använder en verbal kvalitativ skala av slaget: Very good, Good, Satisfactory, Sufficient, Insufficient. De menar att dessa kvalitativa uttryck är allmänna och lätta att förstå och relatera till oavsett det gäller kvalitet på mat, kläder eller kunskaper. Det intressanta är att länder med denna typ av skala också har betyg som överensstämmer bättre med PISA resultaten än där man tillämpar siffer- eller bokstavsbetyg. Frågan är om det kan förklaras av den hypotes jag ställt upp?

De finska betygen liksom de svenska är målrelaterade. I det betygssystem som gäller i Finland sedan 2002 (här) anges dock bara kriterier för mittenbetyget, vilket är betyg 8 och sedan 2004 även för lägsta godkända kunskaper:

I kriterierna för slutbedömningen definieras nivån för de kunskaper och färdigheter som förutsätts för vitsordet åtta (8). Kriterierna för slutbedömningen har gjorts upp så att eleven får vitsordet åtta (8) om han eller hon i medeltal uppvisar de kunskaper som kriterierna i ämnet anger. En del ouppnådda kriterier kan kompenseras genom överträffad nivå för andra.

Eleven har hjälpligt (5) uppnått de kunskaper och färdigheter som krävs i den grundläggande utbildningen om han eller hon åtminstone i någon mån kan uppvisa de kunskaper som kriterierna förutsätter. (Grunderna för läroplanen för den grundläggande utbildningen 2004, s. 264)

Det här systemet kritiserades i en avhandling av Najar Oaukrim-Soivios från 2013 för att vara för godtyckligt i meningen att lärarna sätter betyg snarare utifrån en jämförelse eleverna sinsemellan än relativt betygskriterierna (här). Men det kanske inte har varit så dumt? Om vi dessutom ser närmare på de finska betygskriterierna ger de mycket större utrymme för läraren att bestämma hur ett kunnande ska prövas och var gränserna ska sättas (se nedan). Detta skulle givetvis kunna leda till att lärare sänker kraven, eller sänker dem för godkänt men höjer dem för de höga betygen. Om underkända resultat självklart leder till att rätt stöd kan sättas in minskar dock sannoloikt risken för att kraven sänks.

Finska betygskriterier i svenska som modersmål 2004 års läroplan

Kriterier för vitsordet åtta vid slutbedömningen

Kommunikation

Eleven

  • har lust och vilja att uttrycka sig muntligt och skriftligt både individuellt och i grupp och strävar efter att få kontakt med sin publik
  • kan lyssna koncentrerat och tar till orda i en problemorienterad diskussion och visar förmåga till en aktiv och analytisk dialog
  • visar respekt för andra talare, accepterar olika åsikter och kan delta i en diskussion på ett konstruktivt sätt, t.ex. genom att ställa frågor och komma med förslag och motiveringar
  • känner till de viktigaste skillnaderna mellan talspråk och skriftspråk, är medveten om privatspråkets möjligheter och begränsningar och kan förändra sitt språkbruk beroende på situationen och mediet
  • tar emot och utnyttjar respons på egna texter för att utveckla sina egna färdigheter och kan också ge andra konstruktiv respons och arbeta både enskilt och i grupp.

 Så här ser de svenska kunskapskraven ut för motsvarande moment i modersmålet:

Svenska kunskapskrav i svenska som modersmål, 2011 års läroplan

Krav för betyget C i årskurs 9

Kommunikation

Eleven kan samtala om och diskutera varierande ämnen genom att ställa frågor och framföra åsikter med utvecklade och relativt väl underbyggda argument på ett sätt som för samtalen och diskussionerna framåt. Dessutom kan eleven förbereda och genomföra utvecklade muntliga redogörelser med relativt väl fungerande struktur och innehåll och relativt god anpassning till syfte, mottagare och sammanhang. Eleven kan föra utvecklade och relativt väl underbyggda resonemang om svenska språkets historia, ursprung och särdrag samt jämföra med närliggande språk och beskriva tydligt framträdande likheter och skillnader.

Den tydligaste skillnaden här ligger i värdeorden. Även om värdeorden kan sägas vara relativa i sig, öppnar frånvaron av värdeord för en ännu större relativitet. Denna relativitet behöver dock inte nödvändigtvis leda till helt godtyckliga betyg. I frånvaron av värdeord finns utrymme för lärares eget professionella omdöme och språk. När standardproven infördes på försök under 1940-talet oroade sig lärare för att deras rätt att avge subjektiva omdömen skulle försvinna (Lundahl 2006). Och nog har den gjort det. Ett problem med de svenska transparenta kunskapskraven är att de är transparenta mer på statens villkor än på lärarnas. Kunskapskraven bygger på formuleringar, som inte är förankrade i respektive ämnes terminologi eller kvalitetskriterier, utan i en idé om att det går att standardisera kvalitetsuttryck, vilket gör att lärarna inte har något direkt stöd i sina ämneskunskaper, utan måste försöka förstå vad någon annan menar. Det problemet gällde i högsta grad även den gamla G, VG, MVG-skalan.

Jag tror att vi ska vara försiktiga med att hävda att skillnaden mellan svenska lärares betyg och svenska elevers resultat på PISA främst beror på att svenska lärare inte kan sätta betyg eller att de ställer för låga krav. De sätter de betyg nuvarande betygssystem leder till. I ett mindre genomskinligt system kan lärare omedvetet höja kraven för att upprätthålla en norm som ter sig rimlig, där ganska få når toppen men som därigenom bidrar till en högre allmännivå. Det går självklart att invända att man kan kräva av lärarna att bättre hantera ett så komplext system som vi har. Staten kände dock till att svenska lärare hade liten (om någon) formell utbildning i betygssättning när det målrelaterade betygssystemet infördes på 90-talet (och komplicerades ytterligare 2011). Med vilken rätt säger man att lärare inte gör rätt? Vilken måttstock är mindre fri från problem, mot vilken lärarnas bedömningar ställs? Är det genom att göra rätt enligt styrdokumenten som det i praktiken blir fel? Och skulle det vara värt att offra en mer transparent bedömning för bättre PISA-resultat?

Jag har lagt fram en hypotes som går ut på att ett mindre transparent betygssystem gör det möjligt för lärare att över tid, om än kanske ofta omedvetet, anpassa den generella kravnivån efter klassens bästa elever. Det borde gå att pröva dess giltighet, men för det krävs att problemformuleringen för svensk skola omfattar även systemet och inte bara de som verkar i det.

Referenser

Lundahl, C. (2006): Viljan att veta vad andra vet. Kunskapsbedömning i tidigmodern, modern och senmodern skola. Arbetsliv i omvandling 2006:8. Akademisk avhandling vid Uppsala universitet. Stockholm: Arbetslivsinstitutet.

OECD (2012). Grade expectations: how marks and education policies shape students’ ambitions. Paris: Organisation for Economic Co-operation and Development (OECD).

 

Hur uppstår en svag prestation?

Publicerat av
1

I PISA rapporteringen finns en kategori som kallas low performance, dvs. svaga prestationer och dålig förmåga att klara PISA-uppgifter. OECD menar emellertid att svaga resultat på PISA-uppgifterna får vidare konsekvenser och skriver om denna prestationskategori:

Countries with large numbers of students who struggle to master basic reading skills at age 15 are likely to be held back in the future, when those students become adults who lack the skills needed to function effectively in the workplace and in society. (OECD 2013 i Serder 2015, s. 173)

I en ny avhandling Möten med PISA – kunskapsmätning som samspel mellan elever i och om provuppgifter i Naturvetenskap, av Margareta Serder Malmö högskola, diskuteras hur denna kategori uppstår. Utgångspunkten är att det inte finns svaga prestationer förrän vi gör dem, och den intressanta frågan är hur vi gör dem (och vad de i sin tur sedan gör).

Serder knyter flera intressanta kunskapsteoretiska frågor om klassificering och klassificeringens effekter till PISA-mätningarna. Med hänvisning till den franske sociologen Bruno Latour, känd för sin forskning om hur vetenskaplig kunskap uppstår, resonerar Serder om att svaga prestationer egentligen inte finns – vi gör dem. I ett av avhandlingens kapitel, skrivet tillsammans med Malin Ideland jämförs Louis Pasteurs upptäckt av mikroberna med konstruktionen av PISA-resultat. Latour har i en berömd text (1999) rest frågan om mikroberna fanns där innan Pasteur upptäckte dem. Latour menar att de flesta nog skulle tycka att så var fallet och anse att det enda Pasteur gjorde var att benämna dem. Latour menar emellertid att det är först i och med den vetenskapliga processen som leder fram till benämnandet, och det som följer därav, som gör mikroberna blir till det de är. Mikroberna behövde Pasteurs laboratorium, dess särskilda miljö, villkor, näring etc. för att bli mikrober så som vi känner dem (se även Serder 2015, s. 176). Serder och Ideland frågar sig om elevernas låga prestationer finns där innan eleverna gör PISA, eller om de uppstår i det speciella laboratorium för kunskapsmätning som man kan säga att PISA är. För att studera hur elever gör när de gör PISA har Serder och Ideland spelat in elever som arbetar med PISA-uppgifter.

Svaga prestationer, menar Serder och Ideland, bör vi betrakta som en samhandling mellan vetenskapliga/epistemologiska traditioner, mätinstrumentet och eleven. Det är lätt att tänka att en svag prestation är kopplad till en elev som av olika anledningar helt enkelt inte kan tillräckligt mycket av det barn i den ålder ska kunna. Eleven har antingen inte gått i en bra skola eller så har inte eleven arbetet tillräckligt hårt från sina förutsättningar. Det Serder och Ideland emellertid visar är att eleverna försöker förstå vad som förväntas av dem, de resonerar och tänker kring uppgiften – men hamnar bland fel. Givetvis kan man säga att eleverna saknar vissa grundkunskaper, men det betyder inte att de inte har andra värdefulla kunskaper. Elevernas prestationer är alltså svaga i förhållande till specifika kunskaper och normer som prövas med specifika instrument. En norm vad gäller NO-delen i PISA är att science literacy är en förutsättning för att kunna delta fullt ut i samhällslivet. Ett sätta att mäta elevernas förutsättningar för att avkoda naturvetenskapen i samhället är genom uppgifter där eleverna ska använda eller förhålla sig till vetenskapliga begrepp. Serder och Ideland ger olika exempel där man kan fråga sig om det är naturvetenskaplig kompetens som verkligen prövas. På vissa frågor är det elevernas förmåga till språkliga slutledningar som avgör om det blir rätt eller fel, i andra fall är det testens logik med flervalsfrågor som påverkar hur eleverna tänker om lösningarna. Det visar sig också i Serders avhandling att eleverna inte alltid känner igen hur naturvetenskap framställs i testerna, vilket leder till visst motstånd. Även hur frågorna har översatts påverkar hur eleverna tänker om dem. I ett fall översattes ”less” och ”more” med ”sämre” och ”bättre”. Det ledde eleverna till att resonera om vilket som var bäst och sämst i absolut mening, snarare än om relationer mellan objekten i uppgiften, vilket i fallet sannolikt bidrog till fel svar. I en annan uppgift vet eleverna mycket väl hur de ska få tag på nödvändiga fakta, men eftersom t.ex. googling inte är tillåtet, känner de sig istället dumma för att inte kunna svaret utantill.

Tre elever ska lösa en uppgift kring ”surt regn”. En av eleverna, Théa läser uppgiften för de andra. Hon har svårt för att läsa men kämpar sig igenom texten:

Théa: /…/ God I read so bad – gases like sulfur oxides and nitrogen oxides… oxides I mean Ox-i-d-es [trying the word] as well. Where do these sulfur ox- ides (giggling) this sounds so brainless…and nitrogen oxides in the air come from?

(the girls are looking at each other, puzzled)

Théa: good that we are so damn stupid

Mickey: the earth?

Théa: but can’t…can’t one Google it? (pointing at a computer)

Mickey: (giggling nervously)

Théa: but just answer the question 118 118

Mickey: the air’s…?

Amanda [very quietly]: does one have to answer?

Théa: well, I think all questions are this hard. (Group E, Nov 2010, 12:00–16:00) (Serder 2015, s. 189-190)

Eleverna besvarar i slutändan inte frågan och är i den meningen vad OECD kallar svagpresterande. Men, frågar sig Serder och Ideland, var de också svagpresterande innan de övertalades att svara på PISA-frågorna? Eller är det först i mötet med uppgiften som de blir svagpresterande? Eleverna har initialt tvekat inför att alls påbörja uppgiften, skriver forskarna. De anklagar sig själva för att läsa dåligt, för att vara dumma. En av eleverna, Mickey, försöker gissa svaret. Théa antyder på olika vis sätt att frågan handlar om fakta och det kan man googla fram eller få fram via upplysningstjänsten 118 118. En av eleverna, Amanda, frågar om de verkligen måste svara på frågan. Théa svarar att alla frågorna nog är lika svåra.

I elevernas vardag skulle sannolikt den här typen av uppgift ha lösts med hjälp av Internet, men enligt PISA-studierna vore det en ”svag prestation”, skriver Serder och Ideland. Skillnaden mellan hur barnen i vardagen arbetar med kunskaper och hur de i sammanhang som detta förväntas visa kunskaper leder i det här fallet till att eleverna betraktar sig som dumma, fastän de skulle kunna klara av uppgiften i en annan kontext.

Det Serder och Ideland genomför, kallas inom prov- och bedömningsforskningen för felsvarsanalys. Det är också något som sker i relation till konstruktionen av PISA-testerna med syftet att göra dem bättre. Serder och Ideland använder däremot sin analys för att problematisera med vilken självklarhet PISA skapar kategorin lågpresterande. Det bekymmersamma är när testens principer för att mäta (vissa) kunskaper också skapar en känsla hos eleverna av att vara dumma. Vad som sedan krävs för att fungera som vuxen i samhället är en mer öppen fråga.

OECD (2013) varnar för att dessa lågpresterande elever inte kommer att kunna bidra varken i arbetslivet eller i samhället. Serder och Ideland skriver ”Low performers become performed as noncontributors in an imagined future society” (Serder 2015, s. 188). Därmed kommer svaga prestationer i skolan att betraktas som en risk. Vi kan ta ut krisen i förskott och det går att göra politik av den. PISA-studierna blir lite av oraklet i Delfi (Gorur 2011), vars kontextlösa datamängder kan användas för intresseladdade uttolkningar. Tolkningarna ifrågasätts men sällan PISA.

Den här typen av kritiska mikro-analyser av PISA är välkomna. Det betyder inte att vi inte ska ta PISA-resultat på allvar, men det betyder att vi behöver resonera om vad vi menar när vi säger att elever inte kan tillräckligt. Testerna utgår ifrån antaganden om att uppgifterna kommuniceras mer entydigt än vad som är fallet och att elevernas prestationer verkligen speglar vad de kan och är en god prognos för framtiden. Elever kan dock många andra saker än det som mäts. Och är det så självklart att det som mäts är det viktigaste kunnandet för elevernas och Sveriges framtid?

(En angränsande och pågående forskningsstudie som vi tidigare rapporterat om handlar om hur elever konstrueras som godkända eller underkända, se här).

 

Referenser

Gorur, R. (2011). ANT on the PISA Trail: Following the statistical pursuit of certainty. Educational Philosophy and Theory, 43(1), 76-93.

Latour, B. (1999). Pandora’s hope: essays on the reality of science studies. Cambridge, Mass.: Harvard Univ. Press.

Serder, M. (2015). Möten med PISA: Kunskapsmätning som samspel mellan elever och provuppgifter i och om naturvetenskap. Diss. Studies in Educational Sciences, no 75. Högskolan i Malmö.

Försämringens historia, del 5

Publicerat av
1

I ljuset av dagens PISA-rapport kan det vara en poäng att åter reflektera kring vilken roll bilden av försämringar spelar när det gäller att forma samtalet om skolan. En distinktion som jag tror är av värde är den mellan absoluta och relativa kunskapsbrister. När PISA-studierna riktar fokus mot kunskapsbrister är det alltid fråga om relativa kunskapsbrister: att svenska elever presterar sämre än tidigare år, eller sämre än elever i andra länder. Genom jämförelser över tid finns det utrymme för att uttala sig om kunskapsbrister i termer av försämring. Denna problembeskrivning skapar nästan oundvikligen en viss typ av tillbakablickande lösningsstrategi. Om något har försämrats, bör vi rimligen försöka att återuppliva detta något som gjorde att vi tidigare presterade så mycket bättre.

Denna lösningsstrategi behöver inte i sak vara felaktig, men den har en blind fläck: den ser inte framtiden. Synliggörandet av försämring tenderar att osynliggöra frågan om vilka kunskaper vi tror oss behöva i framtiden.

Ett annat sätt att tala om kunskapsbrister återfinns exempelvis i betänkandet från 1946 års skolkommission. I ett avsnitt beskrevs där en studie som gjorts av värnpliktigas kunskaper i samhällsorientering. Slutsatsen var att kunskaperna var mycket låga:

Det torde vara en allmän mening, att ungdomens kännedom om samhällsfrågor är mycket mindre, än man skulle önska. Denna uppfattning har bestyrkts av undersökningar av de värnpliktigas samhällsorientering, vilka företagits för ett par år sedan. Omkring 50 procent visste, att den i Sverige vanligaste vaccinationen är avsedd som skydd mot smittkoppor, cirka 35 procent kunde räkna upp de politiska partierna i riksdagen, och mindre än 20 procent kunde rätt ange vilka av följande tre grupper som förlorar på en försämring av penningvärdet: fordringsägare, skuldsatta, personer med oförändrad penninglön (SOU 1948:27).

Detta var inte en relativ kunskapsbrist, det var inte en minskning av kunskaperna som beskrevs som problemet . Kunskapsbristen var absolut, den var ett problem eftersom kunskaper om det allt mer komplicerade samhället antogs bli allt viktigare. Skolkommissionen drev därför inte någon tes om att äldre ämnen skulle återupprättas. Man argumenterade exempelvis inte för att läroverkens ”Historia med samhällslära” skulle ges fler timmar. Nej, det man istället argumenterade för, det var att den kommande enhetsskolan skulle få ett helt nytt ämne. Det ämnet skulle heta samhällskunskap.