I den här bloggen tittar vi närmare på några vanliga osäkerhetsaspekter som kan uppstå i tolkningen av resultat från enkätundersökningar samt hur du kan hantera dem.
Fel är oundvikliga
I nästan alla undersökningar uppstår olika systematiska felkällor. Även i de fall då undersökaren är duktig och noggrann kan det vara svårt att utifrån givna tidsramar och budgetar få till en perfekt representativitet i urvalet och en tillfredsställande utvärdering av frågeformuläret.
Dessutom är människor till sin natur lättpåverkade vilket också påverkar svaren. Faktorer såsom vilka ord och begrepp som används i en undersökning, tidpunkt då enkäten skickas ut, skalor, insamlingsmetoder och populationens svarsvilja kommer att påverka resultaten. Så är det i stort sett alltid.
Ofta finns det kunskap inom forskningen som ger dig lite hjälp, som t.ex. att människor tenderar att vara mera positiva i sina åsikter ju mindre anonyma de upplever intervjusituationen.
Slumpens inverkan på resultaten
Även i de fall du har bra koll på eventuella systematiska fel, så kommer det att uppstå slumpmässiga fel i dina resultat. Säg att ett resultat har ändrats med x enheter mellan två mättillfällen, då kommer du sannolikt vilja tolka det som att något har förändrats på riktigt. Men, om inte exakt samma personer har deltagit i undersökningen vid båda mättillfällena, så finns det en risk för att de som svarat vid de olika tidpunkterna skiljer sig från varandra på något sätt vilket alltså förklarar skillnaden på x enheter.
När du tolkar resultaten av en undersökning behöver du därför alltid utgå ifrån att det finns slumpmässiga fel som du inte kan identifiera orsaken till. Men det finns en uppsida med slumpmässiga fel. De går nämligen att räkna på med enkel matematik. Man kan t.ex. beräkna att fem enheters skillnad i två olika mätningar uppstår slumpmässigt i trettio procent av fallen. Men om det nu är så att det ofta uppstår slumpmässiga fel, vågar man då fatta beslut utifrån skillnader i resultat? Ja, man måste helt enkelt acceptera en viss nivå av osäkerhet.
För enkätundersökningar brukar man normalt sett rekommendera cirka fem procents risk, ibland tio, som den nivå för slumpmässiga fel då man kan lita på tolkningen. Det är dock viktigt att tänka på att en tioprocentig risk innebär att man gör fel i tolkningen vid ett av tio tillfällen. Så om du jämför skillnader mellan t.ex. tjugo regioner eller segment i din verksamhet så kommer sannolikt två av dem feltolkas enbart för att slumpen har en inverkan på resultaten. Och du kommer inte veta vilka regioner som är fel.
Orsak eller verkan?
När du genomför olika typer av undersökningar, t.ex. kartlägger kundnöjdhet eller undersöker marknaden så kommer du sannolikt vilja förstå orsak och verkan mellan olika målgrupper eller geografiska områden. Kanske visar resultaten på en betydande skillnad mellan storstad och landsbygd? Du kanske då kommer vilja dra slutsatsen att skillnaden beror på boendeort och att storstadsbor tänker annorlunda än de som bor i glesbygd. Men den avgörande förklaringen kan mycket väl vara en ålderseffekt. Att det bor en högre andel yngre människor i storstäder orsakar skillnaden som du alltså feltolkat. Orsak och verkan är ofta knepigare än man tror, så låt dig inte luras av enkla samband.
Oftast har man tillgång till en hel del bakgrundsinformation såsom ålder, bakgrund, utbildning och bör titta på och analysera alla dessa möjliga förklaringar samtidigt. Det kommer att hjälpa dig att utesluta en del förklaringar och minska risken för feltolkningar. Dock kvarstår risken att det existerar faktorer som du inte tänkt på, eller inte kunnat mäta som också skulle kunna förklara det du tror är ett riktigt orsak-verkan samband.
Är det ens värt att göra enkätundersökningar?
Hur ska man förhålla sig till enkätundersökningar om det finns så stora risker för fel och feltolkningar? Är det meningslöst att göra dem? Nej, man kan aldrig gardera sig helt från slumpen eller andra osäkerhetsaspekter och behöver emellanåt fatta beslut utifrån otillräcklig eller osäker information. Det viktiga är att vara medveten om att det finns osäkerhetsaspekter samt vara beredd på att omvärdera sin tolkning i det fall information tillkommer eller ändras.
Ett sätt att samla på sig ny information är att genomföra undersökningar på lite olika vis för att se om resultaten håller under flera omständigheter t.ex. under olika tider på året, med olika insamlingsmetoder eller via olika typer av enkäter. Skillnader i sådana faktorer kan ha tydliga effekter på resultaten.
Det är också svårt att granska egna slutsatser därför att vi uppmärksammar, minns, och tror på information som stämmer överens med befintliga föreställningar. Det kallas konfirmeringsbias, och innebär att vi har svårt att ta till oss ny information när vi väl bestämt oss för en slutsats. Ta därför gärna hjälp av andra när du ska tolka resultat.
Summerar vi innehållet i den här bloggen så bör vi vara uppmärksamma på följande när vi tolkar resultaten av en enkätundersökning:
- Systematiska felkällor
- Slumpmässiga fel
- Orsak och verkan – inte alltid så uppenbart som det först verkar
- Din egen konfirmeringsbias
