Meningsmålinger og usikkerhed
February 5th 2008
Det er pinligt at høre journalister overfortolke små udsving i meningsmålinger. Udsagn som “Venstre går markant frem med 2 procentpoint,” giver ingen mening, da usikkerheden på Venstres andel af stemmerne i en typisk meningsmåling er op imod 3 %-point.
Men hvad er usikkerheden på en meningsmåling egentlig? Hvis ikke andet er angivet, vil usikkerheden ofte være synonym med 95%-konfidensintervallet. Altså vil den reelle tilslutning til partiet med 95% sandsynlighed ligge indenfor det målte +/- usikkerheden.
På dets politiske index skriver Meganfon om usikkerheden: “Resultaterne i undersøgelsen må påregnes en vis statistisk usikkerhed. For de enkelte observationer gælder, at de faktiske procenttal med 95% sikkerhed befinder sig indenfor en gennemsnitlig margin på ca. +/-2% af de observerede procenttal.”
Mange, ja selv agtværdige professorer i statskundskab, misforstår ovenstående og tror, at usikkerheden på målingen er 2% – uanset tilslutning. Altså hvis Enhedslisten får 2,3% af stemmerne, så betyder det, at tilslutningen ligger mellem 0,3% og 4,3%, og hvis Venstre får 28,0% af stemmerne, så betyder det, at tilslutningen ligger mellem 26,0% og 30,0%. Men de mange overser, at der står “gennemsnitlig margin“.
I virkeligheden er usikkerheden (95% konfidensintervallet) givet ved:
u = 1,96*sqrt(p*(1-p)/N)
hvor u er usikkerheden, p er den opnåede stemmeandel i målingen, N er antallet af respondenter (og sqrt = kvadratrod). Ønsker man kun et 90%-konfidensinterval, kan man skifte 1,96 ud med 1,66. Læs f.eks. denne gennemgang på journalisthøjskolens hjemmeside.
En typisk meningsmåling har 1.000 respodenter. Bruges dette tal fås følgende usikkerheder som funktion af stemmeandel:
Tilslutning – 95%-konfidensinterval
1% – 0,6%
2% – 0,9%
3% – 1,1%
5% – 1,4%
7% – 1,6%
10% – 1,9%
15% – 2,2%
20% – 2,5%
25% – 2,7%
30% – 2,8%
Jeg kan egentlig ikke forstå, hvorfor analyseinstitutterne ikke bare angiver 95%-konfidensintervallet i parentes efter partiets tilslutning. Hvor svært kan det være? Så slipper man for overfortolkende journalister og professorer i statskundskab, der tager fejl af usikkerhedsangivelsen.
Ovenstående beregninger og formel angiver, så vidt jeg kan se, kun den statitiske usikkerhed. Metodeusikkerheden er ikke medregnet. De angivne tilslutninger i meningsmålingerne svarer ikke præcist til det, respodenterne har svaret. F.eks. har man erfaring for, at ikke alle vil sige i telefonen, at de stemmer Dansk Folkeparti, hvorfor man sjusser en større tilslutning end det, der er svaret. Ligeledes sjusser man udfra forholdet mellem mand/kvinde og demografiske forhold. Det skal også nævnes, at antallet af respodenter, N, i ovenstående formel er dem, der rent faktisk stemmer på et parti. Dem, der svarer “ved ikke”, indgår ikke i N. Hvis “ved ikke” stemmerne ikke fordeler sig jævnt, giver det en større usikkerhed på tilslutningen. Alt i alt skal de ovenfor beregnede 95%-konfidensintervaller derfor ses som minimum-usikkerheder.
Det skal til slut siges, at jeg på ingen måde er ekspert i statistik. Jeg har kun haft et kursus i det i forbindelse med mit sidefag i matematik, og det ligger tilbage i 2001 – eller deromkring. Så hvis jeg skriver noget sludder i ovenstående, så skriv endelig, så jeg kan få rettet fejlen.
