MediaPolitikk

Valgmålinger og statistikk og sånn

Nå nærmer det seg valgtid igjen, og nok en gang er avisene fulle av slike overskrifter som dette:

«Miljøpartiet De Grønne større enn Frp i Oslo» fra abc nyheter, 25. mars 2015.
«Ny bunnmåling for SV» fra Dagens Næringsliv, 12. juni 2015.
«SV med kjempehopp på ny meningsmåling, Ap den store taperen» fra Dagbladet, 2. juli 2015.

Det er jo ikke en nyhet i seg selv at avisene er glade i denne typen overskrifter, men sensasjonelle fremstillinger av slike små meningsmålinger er som oftest falske alarmer. Feilmarginen i slike målinger ligger typisk på ±1–3% – mindre for de små partiene enn de store, men utslaget på de små partiene er relativt sett mer dramatisk. Nesten alle disse overskriftene er uten faktiske grunnlag i statistikken de benytter.

Ikke helt ubrukelige likevel

Disse undersøkelsene er likevel ikke ubrukelige. Ser man på disse samlet og over tid er de betydelig bedre indikasjoner på hvordan partiene ligger an generelt, men de er ganske ubrukelige for å si noe om endringer i oppslutning fra måling til måling slik de som oftest brukes.

Nettsiden Poll of polls har en oversikt over de aller fleste meningsmålingene som utføres, både for Stortings- og lokalvalg. Her kan man sjekke hvordan partiene ligger an over tid, noe som er av betydelig mer verdi enn disse avisoppslagene.

Jeg satte meg ned og dyttet alle målingen fra mars til og med juni i år inn i Matlab og beregnet usikkerheten og plottet endringene. Totalt ble det 14 målinger. Jeg droppet en av dem fordi den ikke oppga antall spurte, noe som gjør at man ikke kan anslå feilmargin. Jeg satt da igjen med 13 spørreundersøkelser. I figurene nedenfor er de bare nummererte, men oversikten over hvilke undersøkelser dette er ligger nederst på siden.

La oss ta målingene for SV som et eksempel siden den illustrerer godt utfordringen her.SV-Mu

Den blå linja viser oppslutningen funnet i undersøkelsene, og de vertikale blå linjene viser usikkerheten med en konfidensintervall på 95%. Det vil ikke si at man anslår det som 95% sannsynlig at det reelle tallet ligger innenfor dette rommet. Konfidensintervallet sier bare noe om nøyaktigheten til den statistiske metoden man benytter. Det kan i beste fall forstås som et estimat av hvor det riktige tallet ligger – ofte referert til som «feilmargin». De røde vertikale linjene viser 99% konfidensintervall.

Feilmarginer

Selv om konfidensintervaller ofte er misforståtte, er de ikke uten verdi. Både undersøkelse 3 og 10 har over 2000 besvarelser, og dermed kortere vertikale linjer. De andre har under 1000 besvarelser, og dermed lengre linjer.

En annen mulig feilkilde her er at utvalget av mennesker man har spurt ikke er representativt for befolkningen generelt. Det er blant annet ofte tilfellet for uformelle spørreundersøkelser på nett. Her har jeg beregnet usikkerhet under antagelsen at utvalget er tilfeldig.

En annen måte å se på konfidensintervallene på er å tenke på dem som et mål på hvor tykk en blyantspiss er, og om den er tynn nok til å få frem de detaljene i bildet vi ønsker å tegne. I mange tilfeller er ikke slike spørreundersøkelser det. Den røde, stiplede linja i figuren for SV viser gjennomsnittet over alle fire månedene, og som vi ser ligger alle disse innenfor anslått usikkerheten – i de fleste tilfeller godt innenfor. Det er altså en liten mulighet for at oppslutningen har vært mer eller mindre den samme i alle disse fire månedene på tross av de sensasjonelle overskriftene. SV blir altså her tegnet med en litt for tykk blyant til at vi kan skjelne detaljene.

Figuren over forteller oss at SV sin oppslutning til det kommende lokalvalget mest sannsynlig har vært ganske stabil de siste fire månedene – et ganske annet bilde enn det media liker å tegne.

I motsatt fall

Andre partier ser vi at har en mer tydelig endring som skiller seg litt fra feilmarginene. Spesielt er dette tydelig når endringene er i samme størrelsesorden som disse, som for eksempel for Frp som kanskje er det beste eksempelet av de ni største partiene. Likevel skal vi være forsiktige med å konkludere med så mye for Frp heller – det er vanskelig å slå fast noen klar trend her også.FRP

Slike små spørreundersøkelser sier oss rett og slett svært lite isolert sett. Mediene liker å blåse opp de individuelle partienes endringer, men det er så godt som ingen av disse som skiller seg fra forventede statistiske variasjoner. Endringene mediene oppgir for hvert parti er nesten helt uten verdi.

Vi kan altså godt ta disse avisoppslagene med en god klype salt. Det riktige svaret får vi uansett ikke før i september, men i mellomtiden kan man følge med på oversikten til Poll of polls. Langtidsgjennomsnittene der gir en helt grei pekepinne på hvordan partiene ligger an.

De andre partiene

Om du lurer på hvordan de andre partiene ser ut i det samme tidsrommet, så har jeg laget en liten gif-animasjon som viser de ni største partiene.All

Figurforklaring

Oversikt over spørreundersøkelser brukt i figurene

  1. TNS Gallup/TV2 – 11.03.2015 – 745 svar
  2. Norstat/NRK – 11.03.2015 – 967 svar
  3. InFact/VG – 13.03.2015 – 2077 svar
  4. Norstat/NRK – 15.04.2015 – 678 svar
  5. TNS Gallup/TV2 – 19.04.2015 – 728 svar
  6. Respons/Aftenposten/BT – 07.05.2015 – 752 svar
  7. TNS Gallup/TV2 – 08.05.2015 – 746 svar
  8. Norstat/NRK – 20.05.2015 – 683 svar
  9. TNS Gallup/TV2 – 01.06.2015 – 960 svar
  10. InFact/VG – 03.06.2015 – 2015 svar
  11. Respons/Aftenposten/BT – 11.06.2015 – 750 svar
  12. Norstat/NRK – 12.06.2015 – 684 svar
  13. Ipsos/Dagbladet – 25.06.2015 – 942 svar
Previous post

Kjappiser: Lego, flinke speidere og lengre sommer

Next post

En ny horisont er passert

Veronica

Veronica

Veronica is a PhD candidate in high energy physics at the University of Oslo, Norway. She loves science, and is a total science-fiction nerd. She's a queer feminist, a secular humanist, and of course a skeptic. She spends most of her free time working for one of the major LGBTQ+ organisations in Norway. She is the editor of the Norwegian Skepchick blog, but also writes for some of the other blogs in the network. She can be found on Twitter as @VeronicaInPink.

No Comment

Leave a reply