book-cover

MassUtmaning

Beställ

Erik Ullenhag medger ändrad metod, men det gör inget för den är “bättre”!

Rapportserien ”Utanförskapets Karta” utvecklades med hjälp av docenten Mauricio Rojas för Folkpartiet. Ett syfte var att med någorlunda objektiva kriterier mäta utanförskapet över tid. Den första rapporten jämförde år 1990 med år 2002.

Folkpartiet räknade på antalet utanförskapsområden fram till 2006. Vid en metodändring i  tidsserier som jämför olika tidpunkter anses man vara skyldig att försöka bibehålla jämförbarheten (annars finns det ingen större poäng med tidsserier över huvud taget).

Ett sätt att göra detta är att gå tillbaka retroaktivt och sedan applicera den nya metoden. Ett annat är att redovisa resultat från båda metoderna parallellt under ett eller några år. När folkpartiet tidigare gjorde smärre metodändringar följde de denna praxis.

Nyligen släppte Folkpartiet sin rapport som tittar på år 2012 och på ”utvecklingen” mellan 2006 och 2012. Slutsatsen var att antalet utanförskapsområden har sjunkit från 156 till 155.

Folkpartiet hade dock denna gång infört en substantiv metodändring i hur de mäter skolresultat med hjälp av en ny databas. Den här gången redogörs dock inte för vilken effekt metodändringen har. Jag har frågat Folkpartiet upprepade gånger hur deras resultat skulle ändras om de använde samma metod för skolresultat år 2012 som i rapporten för år 2006. Folkpartiet har inte svarat.

Per Gudmundson kritiserade Erik Ullenhag för att inte göra sina beräkningar för år 2012 jämförbara med de för år 2006, och sedan dra slutsatser från två ojämförbara kalkyler. Erik Ullenhag bemöter kritiken. Jag noterar att Erik Ullenhag nu medger att Folkpartiet ändrat metod (”vi har fortlöpande förfinat metoderna för att mäta så korrekt som möjligt”). På twitter försäkrade dock Erik Ullenhag tidigare att ”vi har använd samma metod som tidigare”. Vad är förklaringen till dessa inkonsistenta uttalanden?

Integrationsministern skriver:

”SCB har dessutom förbättrat möjligheten att få aktuell statistik över betygsresultat på individnivå. Den statistiken fångar in hur det går för elever som valt att gå i en skola utanför det egna bostadsområdet. SvD (2/6) menar att det faktum att vi valt att mäta skolresultat på individnivå medför att vi är ”ohederliga”. För oss var det naturligt att använda statistik som ger en så korrekt beskrivning som möjligt av hur det går för eleverna som bor i ett visst bostadsområde.”

Kritiken gick dock aldrig ut på att den metod Folkpartiet bytt till inte är bra. Kritikens poäng var istället att Erik Ullenhag infört en metodändring men samtidigt vägrar att redovisa hur stor effekt metodändringen hade. Det är enkelt att göra två beräkningar för 2012, en med den nya metoden och en med 2006 års metod. Huruvida den nya metoden är bättre är irrelevant. Ingen säger att man inte kan redovisa båda vid övergång. Därigenom kan den nya metoden användas samtidigt som jämförelsen med tidigare år blir rättvisande.

Naturligtvis var det ohederligt att säga att utanförskapet sjunkit från 2006 när man använder en annan metod år 2012. Om man inför regeln att det är OK att ändra metod på ett icke-transparant sätt så länge den nya metoden är bättre blir den här sortens rapporter meningslösa. Det är då enkelt att strategiskt manipulera fram vilket resultat man än vill ha genom att testa flera “förbättrade” metoder och sedan ändra till den metod som ger önskat resultat.

Integrationsministern skrev även:

“Även förändringar i indelningen av valdistrikt påverkar jämförbarheten mellan olika år. Ingen karta är alltså helt lik den tidigare varför det inte går att exakt jämföra läget mellan exempelvis 2002 och 2006.”

Gränser för valdistrikt (som här används för att definiera bostadsområden) ändras som Erik Ullenhag påpekar. Men det går att använda fasta valdistriksgränser om man vill. Det är så jag gjorde i min rapport. Olika sätt att hantera omdragna valdistrikt är den andra stora skillnaden mellan min och Folkpartiets rapport än skolresultat. Jag bad SCB använda en metod som gav bäst jämförbarhet över tid. Deras råd här var att använda stabila äldre valdistriksgränsdragningar, från 2002. På så sätt jämför man samma bostadsområden och valdistrikt oavsett om valdistrikten ritas om. Ska man jämföra utanförskapsområden över tid är det rimligtvis bra om det är samma fysiska område som jämförs varje år.

Så är det inte i Folkpartiets rapport. Istället blir det så att om gränserna för ett utanförskapsområde ritas om så att välmående områden inkluderas och förbättrar utfallet tillräckligt mycket, då drar Folkpartiet slutsatsen att området inte längre är ett utanförskapsomåde.

Detta gäller även när det ursprungliga utanförskapsområdet inte har fått några faktiska förbättringar. För mig känns det inte helt övertygande att säga “Situationen i bostadsområdet har visserligen inte förbättrats, men de har ritat om områdesgränserna, så nu är det inget utanförskapsområde längre, vår politik fungerar!”.

Fördelen med Folkpartiets metod är dock att det fångar valresultatet år 2010 bättre. De tittar på exakt rätt valdistrikt för 2010, medan jag tittar på äldre valdistrikt. Nackdelen med Folkpartiets metod är att förvärvsfrekvensen och skolresultaten blir fel när gränserna dras om, nackdelen med min är att valresultaten blir fel. Jag föredrog dock starkt det senare alternativet. Valresultat är inte ett lika viktigt mått på social utsatthet som förvärvsfrekvens och skolresultat. Dessutom var valresultat bara avgörande i 14 av 186 utanförskapsområden, där det bara är 2 som avviker från Folkpartiet.

Per Gudmundson låter inte Erik Ullenhag hala sig undan:

”Folkpartiets senaste rapport i serien ”Utanförskapets karta” påstår sig vara en ”lägesbild av utvecklingen 2006 till 2012”. I rapporten påstår Folkpartiet att ”ökningen av utanförskapet har planat ut” och att det sedan 2006 är en ”oförändrad andel som bor i utanförskapsområden”.

Men eftersom Folkpartiet har bytt mätmetod sedan rapporten 2006 är dessa slutsatser alltför långtgående. I själva verket säger rapporten väldigt lite om utvecklingen, eftersom man i och med den nya mätmetoden inte kan göra några jämförelser bakåt i tiden.
Tankesmedjan Den Nya Välfärden har samtidigt publicerat en parallell beräkning i rapporten ”Utanförskapets karta – en uppföljning av Folkpartiets rapportserie”, där man har använt 2006 års metod, och kommit fram till att antalet utanförskapsområden har ökat substantiellt sedan 2006.

Det kan förstås vara motiverat att förfina mätmetoder under en rapportseries gång. Men standarden vid övergång till nya metoder är att redovisa den gamla metoden parallellt. Faktum är att detta har skett tidigare i serien Utanförskapets karta. Man ändrade då retroaktivt genom att tillämpa den nya metoden så att det blev jämförbart. Detta görs dock inte i den senaste rapporten.

Folkpartiets Erik Ullenhag intygar att den egna rapportens bild av utvecklingen som ”har planat ut” inte är ett utslag av ohederlighet. Det ger föga tröst, eftersom alternativet torde vara att slutsatserna i rapporten är baserade på bristande analytisk förmåga.”