I PISA rapporteringen finns en kategori som kallas low performance, dvs. svaga prestationer och dålig förmåga att klara PISA-uppgifter. OECD menar emellertid att svaga resultat på PISA-uppgifterna får vidare konsekvenser och skriver om denna prestationskategori:

Countries with large numbers of students who struggle to master basic reading skills at age 15 are likely to be held back in the future, when those students become adults who lack the skills needed to function effectively in the workplace and in society. (OECD 2013 i Serder 2015, s. 173)

I en ny avhandling Möten med PISA – kunskapsmätning som samspel mellan elever i och om provuppgifter i Naturvetenskap, av Margareta Serder Malmö högskola, diskuteras hur denna kategori uppstår. Utgångspunkten är att det inte finns svaga prestationer förrän vi gör dem, och den intressanta frågan är hur vi gör dem (och vad de i sin tur sedan gör).

Serder knyter flera intressanta kunskapsteoretiska frågor om klassificering och klassificeringens effekter till PISA-mätningarna. Med hänvisning till den franske sociologen Bruno Latour, känd för sin forskning om hur vetenskaplig kunskap uppstår, resonerar Serder om att svaga prestationer egentligen inte finns – vi gör dem. I ett av avhandlingens kapitel, skrivet tillsammans med Malin Ideland jämförs Louis Pasteurs upptäckt av mikroberna med konstruktionen av PISA-resultat. Latour har i en berömd text (1999) rest frågan om mikroberna fanns där innan Pasteur upptäckte dem. Latour menar att de flesta nog skulle tycka att så var fallet och anse att det enda Pasteur gjorde var att benämna dem. Latour menar emellertid att det är först i och med den vetenskapliga processen som leder fram till benämnandet, och det som följer därav, som gör mikroberna blir till det de är. Mikroberna behövde Pasteurs laboratorium, dess särskilda miljö, villkor, näring etc. för att bli mikrober så som vi känner dem (se även Serder 2015, s. 176). Serder och Ideland frågar sig om elevernas låga prestationer finns där innan eleverna gör PISA, eller om de uppstår i det speciella laboratorium för kunskapsmätning som man kan säga att PISA är. För att studera hur elever gör när de gör PISA har Serder och Ideland spelat in elever som arbetar med PISA-uppgifter.

Svaga prestationer, menar Serder och Ideland, bör vi betrakta som en samhandling mellan vetenskapliga/epistemologiska traditioner, mätinstrumentet och eleven. Det är lätt att tänka att en svag prestation är kopplad till en elev som av olika anledningar helt enkelt inte kan tillräckligt mycket av det barn i den ålder ska kunna. Eleven har antingen inte gått i en bra skola eller så har inte eleven arbetet tillräckligt hårt från sina förutsättningar. Det Serder och Ideland emellertid visar är att eleverna försöker förstå vad som förväntas av dem, de resonerar och tänker kring uppgiften – men hamnar bland fel. Givetvis kan man säga att eleverna saknar vissa grundkunskaper, men det betyder inte att de inte har andra värdefulla kunskaper. Elevernas prestationer är alltså svaga i förhållande till specifika kunskaper och normer som prövas med specifika instrument. En norm vad gäller NO-delen i PISA är att science literacy är en förutsättning för att kunna delta fullt ut i samhällslivet. Ett sätta att mäta elevernas förutsättningar för att avkoda naturvetenskapen i samhället är genom uppgifter där eleverna ska använda eller förhålla sig till vetenskapliga begrepp. Serder och Ideland ger olika exempel där man kan fråga sig om det är naturvetenskaplig kompetens som verkligen prövas. På vissa frågor är det elevernas förmåga till språkliga slutledningar som avgör om det blir rätt eller fel, i andra fall är det testens logik med flervalsfrågor som påverkar hur eleverna tänker om lösningarna. Det visar sig också i Serders avhandling att eleverna inte alltid känner igen hur naturvetenskap framställs i testerna, vilket leder till visst motstånd. Även hur frågorna har översatts påverkar hur eleverna tänker om dem. I ett fall översattes ”less” och ”more” med ”sämre” och ”bättre”. Det ledde eleverna till att resonera om vilket som var bäst och sämst i absolut mening, snarare än om relationer mellan objekten i uppgiften, vilket i fallet sannolikt bidrog till fel svar. I en annan uppgift vet eleverna mycket väl hur de ska få tag på nödvändiga fakta, men eftersom t.ex. googling inte är tillåtet, känner de sig istället dumma för att inte kunna svaret utantill.

Tre elever ska lösa en uppgift kring ”surt regn”. En av eleverna, Théa läser uppgiften för de andra. Hon har svårt för att läsa men kämpar sig igenom texten:

Théa: /…/ God I read so bad – gases like sulfur oxides and nitrogen oxides… oxides I mean Ox-i-d-es [trying the word] as well. Where do these sulfur ox- ides (giggling) this sounds so brainless…and nitrogen oxides in the air come from?

(the girls are looking at each other, puzzled)

Théa: good that we are so damn stupid

Mickey: the earth?

Théa: but can’t…can’t one Google it? (pointing at a computer)

Mickey: (giggling nervously)

Théa: but just answer the question 118 118

Mickey: the air’s…?

Amanda [very quietly]: does one have to answer?

Théa: well, I think all questions are this hard. (Group E, Nov 2010, 12:00–16:00) (Serder 2015, s. 189-190)

Eleverna besvarar i slutändan inte frågan och är i den meningen vad OECD kallar svagpresterande. Men, frågar sig Serder och Ideland, var de också svagpresterande innan de övertalades att svara på PISA-frågorna? Eller är det först i mötet med uppgiften som de blir svagpresterande? Eleverna har initialt tvekat inför att alls påbörja uppgiften, skriver forskarna. De anklagar sig själva för att läsa dåligt, för att vara dumma. En av eleverna, Mickey, försöker gissa svaret. Théa antyder på olika vis sätt att frågan handlar om fakta och det kan man googla fram eller få fram via upplysningstjänsten 118 118. En av eleverna, Amanda, frågar om de verkligen måste svara på frågan. Théa svarar att alla frågorna nog är lika svåra.

I elevernas vardag skulle sannolikt den här typen av uppgift ha lösts med hjälp av Internet, men enligt PISA-studierna vore det en ”svag prestation”, skriver Serder och Ideland. Skillnaden mellan hur barnen i vardagen arbetar med kunskaper och hur de i sammanhang som detta förväntas visa kunskaper leder i det här fallet till att eleverna betraktar sig som dumma, fastän de skulle kunna klara av uppgiften i en annan kontext.

Det Serder och Ideland genomför, kallas inom prov- och bedömningsforskningen för felsvarsanalys. Det är också något som sker i relation till konstruktionen av PISA-testerna med syftet att göra dem bättre. Serder och Ideland använder däremot sin analys för att problematisera med vilken självklarhet PISA skapar kategorin lågpresterande. Det bekymmersamma är när testens principer för att mäta (vissa) kunskaper också skapar en känsla hos eleverna av att vara dumma. Vad som sedan krävs för att fungera som vuxen i samhället är en mer öppen fråga.

OECD (2013) varnar för att dessa lågpresterande elever inte kommer att kunna bidra varken i arbetslivet eller i samhället. Serder och Ideland skriver ”Low performers become performed as noncontributors in an imagined future society” (Serder 2015, s. 188). Därmed kommer svaga prestationer i skolan att betraktas som en risk. Vi kan ta ut krisen i förskott och det går att göra politik av den. PISA-studierna blir lite av oraklet i Delfi (Gorur 2011), vars kontextlösa datamängder kan användas för intresseladdade uttolkningar. Tolkningarna ifrågasätts men sällan PISA.

Den här typen av kritiska mikro-analyser av PISA är välkomna. Det betyder inte att vi inte ska ta PISA-resultat på allvar, men det betyder att vi behöver resonera om vad vi menar när vi säger att elever inte kan tillräckligt. Testerna utgår ifrån antaganden om att uppgifterna kommuniceras mer entydigt än vad som är fallet och att elevernas prestationer verkligen speglar vad de kan och är en god prognos för framtiden. Elever kan dock många andra saker än det som mäts. Och är det så självklart att det som mäts är det viktigaste kunnandet för elevernas och Sveriges framtid?

(En angränsande och pågående forskningsstudie som vi tidigare rapporterat om handlar om hur elever konstrueras som godkända eller underkända, se här).

Referenser

Gorur, R. (2011). ANT on the PISA Trail: Following the statistical pursuit of certainty. Educational Philosophy and Theory, 43(1), 76-93.

Latour, B. (1999). Pandora’s hope: essays on the reality of science studies. Cambridge, Mass.: Harvard Univ. Press.

Serder, M. (2015). Möten med PISA: Kunskapsmätning som samspel mellan elever och provuppgifter i och om naturvetenskap. Diss. Studies in Educational Sciences, no 75. Högskolan i Malmö.