Hoppa till innehållet

Reliabilitet och validitet i test: vad betyder begreppen?

Kort svar

Reliabilitet handlar om hur konsekvent ett test mäter, validitet om huruvida resultatet stödjer den slutsats som dras. En badrumsvåg som alltid visar två kilo för lite fångar skillnaden: mätningen är stabil, men svaret på frågan blir fel. Ett test kan alltså vara reliabelt och ändå vara ett dåligt underlag för just den roll som ska tillsättas. Därför behövs båda begreppen innan ett resultat tillåts väga tungt i ett urval.

Begreppen låter akademiska, men det är de egentligen inte. De svarar på två frågor som vem som helst skulle ställa om ett mätinstrument: mäter det likadant varje gång, och mäter det rätt sak?

Vad är skillnaden mellan reliabilitet och validitet?

Ta vågen igen. Ställer du dig på den fem gånger i rad och den visar 74,0 kilo varje gång är den utmärkt reliabel. Är den dessutom rätt kalibrerad visar den din faktiska vikt, och då är slutsatsen du drar av siffran giltig. Är den däremot inställd två kilo fel spelar konsekvensen ingen roll: du får samma felaktiga svar med imponerande precision.

Överfört till rekrytering blir det tydligare varför ordningen spelar roll. Ett test som ger olika resultat från gång till gång går inte att tolka alls, så reliabiliteten är en förutsättning. Men ett stabilt mått på en förmåga som rollen inte kräver är precis lika oanvändbart som den felkalibrerade vågen. Validiteten avgörs därför inte av testet ensamt, utan av vad det används till.

DO:s utgångspunkt är att en rekrytering ska bygga på vad tjänsten kräver och inte på osakliga faktorer. Den principen ger validitetsfrågan sin praktiska form: den handlar inte om huruvida testet hittar den bästa personen i allmänhet, utan om huruvida resultatet säger något om det arbete som faktiskt ska utföras.

Badrumsvåg och måttband på ett kaklat golv som bild för stabil men felkalibrerad mätning
Stabil mätning och rätt mätning är två olika saker. Bilden är en redaktionell illustration.

Hur vet man att mätningen är tillräckligt konsekvent?

Genom att läsa vad testleverantören redovisar, och genom att veta vad man letar efter. EFPA:s Test Review Model är en europeisk modell för att beskriva och noggrant utvärdera psykologiska bedömningar, test, skalor, profiler och frågeformulär, och den ska ge testanvändare tillförlitlig information om testets teoretiska, praktiska och psykometriska egenskaper. I revisionen av modellen beskrivs vad granskarna väger in när reliabiliteten bedöms.

Tre punkter därifrån är användbara även för den som inte är psykolog. Reliabilitetsvärden varierar med metod och med hur spridd den undersökta gruppen är, vilket gör att en siffra behöver läsas tillsammans med uppgiften om vilken grupp den kommer ifrån. Kraven skärps med insatserna: för beslut med stora konsekvenser krävs högre reliabilitetskoefficienter än för beslut med små. Och granskarna väger in om standardmätfelet redovisas, alltså hur mycket ett enskilt resultat rimligen kan variera.

Den sista punkten har en direkt följd för tolkningen. En poäng är egentligen ett intervall, inte en punkt, och två kandidater som skiljer sig marginellt bör behandlas som jämbördiga snarare än rangordnas. Var gränsen går skiljer sig mellan test och framgår av leverantörens dokumentation.

En detalj till ur samma modell är lätt att kontrollera: normer, standarder eller gränsvärden som är äldre än 20 år bedöms som otillräckliga. Ett välbyggt test kan med andra ord redovisa placeringar mot en jämförelsegrupp som hunnit bli inaktuell. Hur den jämförelsen fungerar förklaras under normering av testresultat.

Vad betyder validitet i ett urvalsbeslut?

Validitet betyder att belägget räcker för den slutsats som dras, och i EFPA:s granskningsmodell delas frågan i två delar. Konstruktvaliditet svarar på vad testet mäter: mäter det det avsedda begreppet, eller delvis eller huvudsakligen något annat? Kriterievaliditet handlar om sambandet med något utanför testet och kan riktas bakåt i tiden, mot samma tidpunkt eller framåt. Den framåtriktade varianten kallas prediktiv validitet och är den som avses när ett test beskrivs som ett stöd för att förutse arbetsprestation.

Uppdelningen är inte akademisk hårklyveri. Ett test kan ha goda belägg för vad det mäter utan att någon undersökt sambandet med utfall i arbetet, och tvärtom. Frågar du en leverantör om validitet är det därför värt att fråga vilken sorts belägg som avses och i vilka grupper det samlats in.

Hur mycket säger en validitetssiffra som r = 0,51?

Mindre än den ser ut att göra, och mer än skeptikern tror. Den mest citerade siffran på området kommer ur en meta-analys från 1998, där Schmidt och Hunter redovisade sambandet r = 0,51 mellan generell mental förmåga, alltså GMA, och övergripande arbetsprestation. Talet är ett historiskt genomsnitt hämtat ur många studier, yrken och årtionden, inte ett besked om ett enskilt testverktyg.

Två missförstånd är värda att rensa bort. Siffran är inte en träffprocent: den beskriver ett samband i stora grupper, inte sannolikheten att en enskild kandidat lyckas. Och den gäller inte automatiskt ett visst testverktyg, en viss svensk normgrupp eller en viss roll; den säger något om testtypen som familj. Ett samband av den här storleken innebär en tydlig tendens över många personer, samtidigt som en stor del av skillnaderna i prestation förblir oförklarad. Forskningsläget kring GMA i urval finns mer utförligt under GMA-test och vad forskningen visar.

Vad svarar testet inte på?

Ett test svarar bara på den avgränsade fråga det är byggt för. Ett kapacitetstest säger ingenting om motivation, om yrkeskunskap eller om hur någon fungerar i en viss grupp. Det är inte en brist i testet utan i användningen när resultatet får bära slutsatser det aldrig konstruerats för. Personlighetsinventeringar, arbetsprov och strukturerade intervjuer finns just för att täcka andra frågor; skillnaden mellan begreppen finns samlad i ordlistan över testbegrepp.

Tre frågor innan ett resultat får väga tungt
FrågaDet här tittar du efterDär finns svaret
Är mätningen tillräckligt konsekvent? Redovisade reliabilitetsstudier, vilken metod som använts, vilken grupp de bygger på och om standardmätfelet finns med Testets tekniska manual eller en oberoende granskning
Mäter den rätt sak för rollen? Belägg för vad testet mäter och för samband med utfall i arbetet, lästa mot vad tjänsten kräver Manualens validitetsavsnitt och kravprofilen sida vid sida
Vad svarar den inte på? Motivation, erfarenhet, samarbete och specifik yrkeskunskap Intervju, referenser och arbetsprov

Går frågorna att besvara ur leverantörens eget material har testet en rimlig chans att bära den vikt det ges. Går de inte att besvara är det ett besked i sig.

Vanliga frågor om reliabilitet och validitet

Kan ett test vara reliabelt men ändå fel för rollen?

Ja, och det är den vanligaste förväxlingen. Reliabilitet beskriver hur konsekvent mätningen är, validitet om resultatet stödjer den slutsats som dras. En våg som alltid visar två kilo för lite är helt konsekvent och ändå oanvändbar för den som vill veta sin vikt. Ett test kan på samma sätt mäta stabilt och ändå belysa en annan förmåga än den rollen kräver.

Vad är skillnaden mellan konstruktvaliditet och prediktiv validitet?

Konstruktvaliditet svarar på frågan vad testet faktiskt mäter, alltså om det mäter det avsedda begreppet eller delvis något annat. Kriterievaliditet handlar i stället om sambandet med något utanför testet, och kan avse det förflutna, samma tidpunkt eller framtiden. Prediktiv validitet är den framåtriktade varianten, alltså hur väl testresultatet hänger ihop med ett senare utfall som arbetsprestation.

Betyder r = 0,51 att testet har rätt i hälften av fallen?

Nej. Talet är en korrelation på gruppnivå, inte ett mått på träffsäkerhet för en enskild person. Sambandet mellan generell mental förmåga och arbetsprestation redovisades av Schmidt och Hunter 1998 till r = 0,51, som ett genomsnitt över många studier. En koefficient av den storleken innebär en tydlig tendens i stora grupper, samtidigt som en stor del av skillnaderna i prestation förblir oförklarad av testet.

Ska du välja ett test till en tjänst är det de här frågorna som avgör vilket verktyg som passar, tillsammans med kravprofilen och kandidatupplevelsen. Övriga skalor och rapportbegrepp finns samlade i resultatguiden.

Till topplistan