Den här artikeln handlar inte om missbruk av statistik i meningen att ljuga med statistik, utan i meningen att överproducera och överkonsumera statistik, tillsynes främst i syfte att dämpa ångesten över att inte veta.

I anslutning till novemberlovet sjunker lärares axlar under arbetsbördan med de skriftliga omdömena. En rutinerad lågstadielärare frågade mig vid ett tillfälle: vem skriver jag dessa omdömen för egentligen? Är det för mig själv, för eleverna, för föräldrarna, för mina kollegor, för rektor eller är det för kommunen och staten. Det verkade som att hon inte riktigt visste, och menade att vet man inte det är det svårt att veta hur man ska skriva. Skriftliga omdömen tar kanske mest tid, men det är också frånvarostatistik som ska rapporteras in i skolans dokumentationssystem. Betyg och resultaten från nationella prov åker in i samma system, men används sällan i analyser av hur skolan kan utvecklas (Skolinspektionen 2012).

Mycket av den dokumentation som sker i skolan verkar vettig, men vi måste först fråga oss hur mycket den egentligen används, vem som styr hur den ser ut och vad datainsamlingen har för alternativkostnader. Det känns inte helt orimligt att likna kulturen av att dokumentera och samla in statistik över snart allting i skolan, med det som i äldre tider kallades politisk aritmetik.

Den politiska aritmetiken grundlades av engelsmannen William Petty (1623 – 1687) och brukar ses som en tidig rörelse till modern statistik och nationalekonomi. År 1749 blir den politiska aritmetiken institutionaliserad i Sverige i och med skapandet av Tabellverket, som var en enkel befolkningsstatistik. 1756 uppgick Tabellverket i Tabellkommissionen. Denna myndighet finns fortfarande kvar men nu under namnet: Statistiska Central Byrån (SCB). Det huvudsakliga syftet med Tabellverket var att ”Informera om tillståndet i nationen” med en särskild uppmärksamhet på förändringar (proposition 1734, i Johannisson 1988, s. 157). Den första rapporten från Tabellverket 1761 följde tydligt den ideala politiska aritmetiken och kategoriserade människor efter deras förmåga att producera rikedom (Johannisson 1988, s. 166). Tabellverket samlade in tre sorters data som presenteras i olika diagram: kvantitet, status och rörelser (dvs antalet registrerade födelser/död, hälsa mätt utifrån orsaken till dödsfall, äktenskap och andra familjeförändringar) (Beronius 1994, s. 24ff). Tabellverket producerade fyra större rapporter under andra halvan av 1700-talet, men sedan blev det helt tyst från myndigheten under flera decennier. Varken politiker eller allmänheten förstod nämligen hur rapporterna skulle användas. Att enbart visualisera ett tillstånd i olika diagram ger inte riktlinjer om hur man ska göra för att åstadkomma en bättre utveckling (Johannisson 1988). Det kommer att dröja fram till början av 1800-talet innan denna typ av data börjar väcka politikernas intresse i Sverige – och då ser vi också de första exemplen på statistik om utbildningssystemet.

Den skolstatistik som producerades under 1800-talet var främst en ”kartläggning” utifrån kategorier baserade på saker som lätt kunde räknas i antal: skolor, lärare, studenter, andel pojkar och flickor, och löner etc. (se t.ex. här). Om vi adderar tid till dessa tabeller, händer något. Det blir möjligt att se förändringar till exempel i elevkullarnas storlek, lärares lön, mängden kvinnliga lärare etc. Samtidigt är det svårt att ur den här typen av statistik se vad som i utbildningssystemet kunde utvecklas och hur.

Idag har möjligheterna att samla in data kring skolan exploderat lavinartat och det finns en hel del statistik som det går att analysera och agera på. Alltför ofta stannar dock bruket av statistik vid just deskription. Statistik analys kräver en ganska specifik kompetens, som det kanske går att samla på myndigheter och departement, men som är svårare att tillgodose i varje svensk kommun. Genom decentraliseringen fick kommunerna ett allt större ansvar för uppföljning och utvärdering. Skolverket kritiserade under 1990-talet ofta kommunerna för att inte sköta sin datainsamling och egenkontroll. Delvis som ett svar på det träder privata företag fram och tillhandahåller lättanvända digitala uppföljningssystem. Några år in på 2000-talet hittar näringslivet skolans uppföljningsbehov och företag som Schoolsoft, Unikum, Infomentor börjar sälja sina dokumentationssystem. Programmerare och konsulter med förmåga att designa insamlingen skapar kategorier och potentiella användningsområden – men visar mindre vägledning kring analys och tolkning. De ser möjligheter och arbetsbesparande IT-lösningar som i praktiken också skapar svårigheter. Schoolsoft marknadsför sig exempelvis som en helhetslösning ”Administration, dokumentation, dialog med hemmet samt ett pedagogiskt stöd samlas på en och samma plats” som dessutom är ”smidigt, enkelt och tillgängligt för lärare, elever, föräldrar dygnet runt” (www.schoolsoft.se). Vi har fått Tabellverk åt alla och en var – men till vilken nytta och till vilket pris?

Oreglerad tillgång till data eller medveten informationspolitik

Inom alkohol och narkotikastudier talar man om tillgänglighetsprincipen. Ju enklare det är att få tag på alkohol- och narkotika desto större är risken för missbruk. Kan det finnas ett behov av att bättre reglera tillgången på utbildningsinformation, som man t.ex. gör i Finland? Internationella studier visar att lärare inte upplever att resultatpublicering gynnar den pedagogiska utvecklingen (Croxford, Gray et al. 2009, Grek, Lawn et al. 2009). Den information som publiceras handlar väldigt lite om orsakerna till resultaten, och resultaten i sig publiceras ofta med lång eftersläpning. Lärarna har sannolikt redan börjat med nya klasser eller teman när resultaten offentliggörs.

Bild 1. Standardisering av folkskolans betyg med hjälp av standardproven. Teckning: Yngve Svalander (Husén, Björnsson et al 1956, s. 33)

I Sverige har resultatpubliceringen inte främst motiverats med pedagogiska förtecken. Det har i stället funnits andra argument och inte minst har det handlat om att ge medborgarna insyn i den offentliga sektorn (Lundahl 2009). Statens publicering av olika skolresultat är en efterfrågad tjänst. SIRIS (Skolverkets Internetbaserade Resultat- och kvalitetsInformationsSystem) hade i snitt drygt 26.000 sidvisningar i månaden år 2009. Statistik och rapporter avseende Skolinspektionens regelbundna tillsyn är dock de informationsområden som efterfrågas mest. Totalt hämtades statistikrapporter cirka 350.000 gånger under 2011 (Skolverket 2011). Det brukar framför allt vara kommunala tjänstemän som använder statistiken (Skolverket 2008). Det tycks med andra ord finnas en stor efterfrågan på de olika skolresultat staten sammanställer. Frågan är dock vad statistiken används till. I Skolverkets rapport (2009) om kompensatorisk resursfördelning fanns flera kommuner med många riktigt lågpresterande skolor som ändå inte tillämpade resursstyrning.

Det skulle vara möjligt att tänka om resultatpubliceringen som ett larmsystem som indikerar när resultaten blir ”alltför” ojämlika, men de svenska erfarenheterna pekar emot en sådan förhoppning. Synliggörandet av ojämlikheten räcker inte för att förändring ska ske, utan här krävs både mandat och kunskap att använda olika modeller för resursfördelning och kompensatoriska åtgärder (jfr Vlachos 2012). Saknas den kompetensen får publiceringen mer karaktär av nameing and shameing. I en artikel om utvecklingen av datapublicering i England skriver Jenny Ozga och Martin Lawn:

The speed with which data now move and the technical capacity of new systems means that data analysts at all levels – schools, local education authorities and the Department for Children, Families and Schools – are preoccupied with constant updating of information rather than with making sense of it. (Ozga & Lawn 2009, s. 1)

Om Lawn och Ozga har rätt är alla så upptagna med att se till att systemet fylls med information att ingen har tid att fundera över hur informationen kan användas (2009). Vi har en situation som liknar den som gällde för de tidiga Tabellverket – data finns men den verkar inte användas (om vi bortser från forskning och statlig utvärdering). Med tanke på de inte helt positiva pedagogiska effekterna av för mycket kontroll och testning kunde man ha trott att den administrativa vinsten skulle vara högre. Att den var värd sitt pris (se ett tidigare inlägg om det här).

Eller så är vinsten högre än vad det verkar, fast på ett annat sätt. Att ha information kan verka ångestdämpande. Staten och kommunerna vet i alla fall att det inte går ”åt skogen” med skolan. Data behöver alltid samlas in, ifall ifall… Det är emellertid lätt att fastna i ett beroende av data. I en finsk studie intervjuades en tjänsteman ansvarig för kvalitetsutveckling av skolan. Han beskriv sitt förhållande till utvärderingar så här:

Just as a personal deliberation, I have a strong personal love-hate relationship with evaluation. I know it will stand you in good stead if it is used properly, but it’s rarely used properly. Therefore it’s a bit like drinking alcohol: a small amount is O.K.; it’s good for your system and so on. With evaluation it’s the same thing. If it’s accurately focused and accurately used, it produces knowledge that’s useful for management. (Simola, Rinne et al. 2009, s. 175)

Det finns som Lundahl & Waldow (2009) visat en stark dragningskraft i statistiska resultat av olika slag. Statistik är ett så kallat ”snabbt språk”. Det ger en symbolisk legitimitet åt dem som hanterar och använder statistiken. Men statistik och resultat är också en förutsättning för att underhålla ett så pass komplext system som utbildningsväsendet. Även om det inte alltid används aktivt fyller det passiva funktioner. Statistik skapar samhörighet i kommunikationen mellan skolans olika aktörer. Man kan tala samma språk och tro att man förstår varandra. Och det går fort. Inte minst ger det individer på alla nivåer i systemet en bild av att de gör rationella val och att systemet är någorlunda rättvist. Höga betyg ger inträde till attraktiva utbildningar et cetera. Faran uppstår om den snabbare kommunikationen in/om skolan går utanför sina legitima verksamhetsdomäner. Lawn och Ozga beskriver hur härskarna över och användarna av datorerna börjat ta över kommunikationen om skolan i England. ”Datorerna” kräver att bli matade med vissa data och avgör vad det är möjligt att veta om skolsystemet:

Drawing on our research, we identify concerns about the displacement of local expertise, and illustrate here some of the ways in which the data machine takes on a life of its own and dominates the work of local government of education, to the extent that it may displace expertise and eliminate local knowledge. (Lawn & Ozga 2009, s. 3)

Det verkar med andra ord som vi är på väg mot en utveckling mot ett statistiskt språk för skolan som formats utifrån vad som är möjligt att mata in i våra datorsystem, i stället för ett språk som bygger vad vi behöver kunna kommunicera om. Även om så i all välvilja har den här typen av dygnetruntöppna och genomskinliga datarika system bieffekter bortom vad som är möjligt att förutse. I Skolinspektionens kvalitetsgranskning av bedömning i årskurserna 1 – 3 framgår exempelvis att vissa lärare känner sig osäkra på hur de skulle kommentera barnens lärande och utveckling nu när föräldrarna så att säga hela tiden kan ”titta på” (Skolinspektionen 2012). En likande problematik beskriver Eva Mårell-Ohlsson 2012 i sin avhandling om individuella utvecklingsplaner och digital dokumentation.

Det har ju också helt rimligt tillsats en utredning för att se över lärares administrativa arbetsbörda (här). Men frågan är om det är så enkelt att bara exempelvis ta bort de skriftliga omdömena och så löser det sig. Skolan har blivit allt mer komplex, särskilt då den som för närvarande förvaltas inom ett valfrihetssystem. God information är en grundpremiss i ett kundorienterat skolsystem. Problemet är när informationen tar tid och uppmärksamhet från undervisningen utan att användas på ett sätt som bidrar till ökad förståelse för hur skolan kan utvecklas. Vilka data behövs egentligen till vad och vem kan samla in dem utan att lärare och elever får betala ett för högt pris? Jag tror egentligen inte detta är frågor för en enmansutredning, som regeringen återigen förlitar sig till, utan här krävs en gemensam konsolidering och behovsanalys utifrån olika intressenters perspektiv. Det är rimligt att tänka sig ett system där skolans behov sätts först och att lärares dokumentation primärt begränsas till vad som främjar den pedagogiska verksamheten. Det är också viktigt att komma ihåg att skolhuvudmannens och målsmännens törst på information är svår att släcka.

*Delar av texten är tidigare publicerade i min bok Bedömning för lärande (Lundahl 2011)

Referenser

Beronius, M. (1994): Bidrag till de sociala undersökningarnas historia – eller till den vetenskapliggjorda moralens genealogi. Stockholm: Symposion.

Grek, S., Lawn, M., Lingard, B., Ozga, J., Rinne, R., Segerholm, C. & Simola, H. (2009). National policy brokering and the construction of the European Education Space in England, Sweden, Finland and Scotland, Comparative Education, 45(1), 5–22.

Husén, T., Björnsson, C. H., Edfeldt, Å. W. & Henrysson, S. (1956): Standardproven. En redogörelse för konstruktion och standardisering. Almquist & Wiksell: Stockolm.

Johannisson, K. (1988). Det mätbara samhället: statistik och samhällsdröm i 1700-talets Europa. Stockholm: Nordstedt.

Lundahl, C. & Waldow, F. (2009). Standardisation and ”quick languages”: The shape-shifting of standardised measurement of pupil achievement in Sweden and Germany. Journal of Comparative Education, 45 (3), 365–385.

Simola, H., Rinne R., Varjo J., Kauko J. and Pitkänen, H (2009). Quality Assurance and Evaluation (QAE) in Finnish Basic Schooling – a national model or just the unintended effects of radical decentralisation?, Special Issue of Journal of Education Policy, 24(2), 163–178.

Skolverket (2008). Redovisning av uppdrag om Förstudie av modernisering av Skolverkets uppföljningssystem. Dnr U2006/9555/BIA/G. Stockholm: Skolverket

Skolverket (2009). Resursfördelning utifrån förutsättningar och behov? Rapport 330. Stockholm: Skolverket.