Utgangspunktet: kjønn, alder og landsdel

Når vi setter sammen et panel til en undersøkelse, kvoterer vi på kjønn og aldersgrupper (16-17, 18-20, 21-24, 25-29), slik at både de yngste og de eldste i målgruppen blir godt representert, og ingen livsfase forsvinner i gjennomsnittet. Kjønnsfordelingen holder vi på omtrent 50/50, og vi godtar små skjevheter så lenge vi kjenner dem. På toppen av dette kvoterer vi på landsdel, slik at stemmer fra hele landet blir med, ikke bare fra storbyregionene. Når temaet krever det, legger vi også til variabler som arbeidsstatus eller utdanning for å få et utvalg som matcher det undersøkelsen skal beskrive.

Men her begynner egentlig jobben

Ingen kvotering i verden gir deg et utvalg som matcher befolkningen perfekt, og det er her vi gjør det som skiller en indikativ undersøkelse fra en som tåler å bli brukt. Når dataene er inne, kjører vi hele utvalget gjennom en matematisk kalibrering mot SSBs befolkningstall, justerer for overrepresentasjon der vi har for mange, og løfter vekten der vi har for få. Metoden heter post-stratifisering, og den gjør at et funn om "unge i Norge" gjelder unge i Norge, ikke bare de som tilfeldigvis svarte.

Forskjellen mellom rådata og vektede tall er sjelden kosmetisk. Vi ser i praksis at konklusjoner snur, rekkefølger bytter plass, og at gruppen du trodde var størst, ender som den nest største. Det er i dette gapet beslutningskvaliteten ligger.

Det du sitter igjen med

Tall som er kalibrerte mot den virkelige befolkningen, ikke bare samlet inn fra en del av den. Det er forskjellen mellom innsikt du kan sitere i en rapport, og innsikt du kan bygge en strategi på.