8.3 Lineær regresjon

Fra prikker til linjer

I forrige kapittel satte vi opp modeller basert på kunnskap om situasjonen – vi visste at en taxi hadde fast startpris pluss en kilometerpris, og vi satte opp funksjonen direkte. Men i mange tilfeller starter vi fra den andre enden: vi har et knippe datapunkter, og vi leter etter en funksjon som passer.

Tenk deg at du driver en iskremkiosk og har notert daglig temperatur og antall solgte is i en uke. Du plotter punktene i et koordinatsystem – et spredningsdiagram – og ser at de danner et mønster som stiger fra venstre til høyre. Det ser ut som det kunne vært en rett linje der. Men hvilken linje? Det finnes uendelig mange rette linjer du kan tegne gjennom en sky av punkter. Vi trenger en metode for å finne den beste.

Det er akkurat det lineær regresjon gir oss: en systematisk metode for å finne den rette linjen $y = ax + b$ som passer best til et sett med datapunkter. I dette kapittelet skal vi lære hvordan metoden fungerer, hva den forteller oss, og – like viktig – hva den ikke forteller oss.

Minste kvadraters metode – den beste linjen

Hva mener vi egentlig med «den beste» linjen? Svaret ligger i minste kvadraters metode. Ideen er elegant: for hvert datapunkt beregner vi den vertikale avstanden mellom punktet og linjen. Denne avstanden kalles et residual: $e_i = y_i - (ax_i + b)$.

Noen residualer er positive (punktet ligger over linjen) og noen er negative (punktet ligger under). Hvis vi bare summerte dem, ville positive og negative avvik oppheve hverandre, og vi ville ikke fått et godt mål. Derfor kvadrerer vi hvert residual og summerer: $S = \sum e_i^2$. Den linjen som gir den minste summen av kvadrerte avvik er regresjonslinjen.

Kvadreringen har enda en fordel: store avvik straffes ekstra hardt. Et punkt som ligger 4 enheter fra linjen bidrar med $16$ til summen, mens et punkt som ligger 2 enheter fra linjen bare bidrar med $4$. Dermed «prøver» linjen ekstra hardt å unngå store bom.

Du trenger ikke gjøre beregningene for hånd – GeoGebra gjør det med kommandoen RegLin(liste). Men det er viktig å forstå prinsippet: regresjonslinjen er den linjen som minimerer summen av de kvadrerte vertikale avstandene. Etter at du har funnet linjen, bør du se på residualene. Dersom de er jevnt spredt rundt null uten noe systematisk mønster, passer den lineære modellen godt. Viser de derimot et buet mønster, trenger du kanskje en annen funksjonstype.

Et eksempel – issalg og temperatur

La oss se dette i praksis. Iskremkiosken vår har registrert følgende data gjennom en uke: ved 15 grader solgte de 48 is, ved 18 grader 56 is, ved 21 grader 70 is, ved 24 grader 82 is, ved 27 grader 95 is, ved 30 grader 112 is, og ved 33 grader 120 is.

I GeoGebra skriver vi datapunktene som en liste og bruker RegLin-kommandoen. Resultatet blir omtrent $y = 4{,}1x - 15{,}4$. Nå kan vi tolke dette.

Stigningstallet $a \approx 4{,}1$ forteller oss at for hver grad temperaturen øker, selges det i gjennomsnitt 4,1 flere is. Det er den praktiske betydningen av stigningstallet – det er endringsraten.

Konstantleddet $b \approx -15{,}4$ er mer problematisk. Matematisk sier det at ved 0 grader ville modellen forutsi $-15{,}4$ is. Men du kan ikke selge minus femten is! Det betyr ikke at modellen er dårlig – det betyr bare at den ikke er ment for så lave temperaturer. Modellen passer best i intervallet der vi faktisk har data, altså fra 15 til 33 grader.

Skal vi anslå issalget ved 25 grader? Det er interpolering (25 ligger mellom 24 og 27), og vi får $y = 4{,}1 \cdot 25 - 15{,}4 = 87$, altså omtrent 87 is. Et rimelig anslag. Hva med 40 grader? Da ekstrapolerer vi (40 er utenfor dataområdet), og anslaget blir mer usikkert.

Korrelasjonskoeffisienten $r$ – hvor sterk er sammenhengen?

Vi har funnet regresjonslinjen, men hvor godt passer den egentlig? Her kommer korrelasjonskoeffisienten $r$ inn i bildet. Den er et tall mellom $-1$ og $1$ som måler styrken og retningen på den lineære sammenhengen.

Dersom $r = 1$ ligger alle punktene nøyaktig på en linje med positiv stigning – perfekt positiv korrelasjon. Dersom $r = -1$ ligger de nøyaktig på en linje med negativ stigning – perfekt negativ korrelasjon. Og dersom $r = 0$ er det ingen lineær sammenheng overhodet – punktene er tilfeldig spredt.

I praksis er vi sjelden så heldige at $r$ er nøyaktig $\pm 1$ eller $0$. Som tommelregel regner vi $|r| > 0{,}8$ som sterk korrelasjon, $0{,}5 < |r| < 0{,}8$ som moderat, og $|r| < 0{,}5$ som svak.

La oss ta et eksempel. Åtte elever rapporterte antall timer brukt på lekser per uke og poengsummen på en prøve. I GeoGebra finner vi regresjonslinjen $y \approx 6{,}5x + 21{,}5$ og $r \approx 0{,}997$. Verdien $r = 0{,}997$ er svært nær 1, altså en sterk positiv korrelasjon – mer leksetid henger sammen med høyere poengsum.

Men betyr det at leksetid forårsaker bedre poengsum? Ikke nødvendigvis. Kanskje er det motiverte elever som både leser mye og gjør det godt, uten at det ene forårsaker det andre. Vi trenger å snakke om forskjellen mellom korrelasjon og kausalitet.

Korrelasjon er IKKE kausalitet

Dette er kanskje den viktigste leksjonen i hele statistikken, og den kan ikke gjentas for ofte: korrelasjon betyr ikke kausalitet. Bare fordi to variabler beveger seg sammen, betyr det ikke at den ene forårsaker den andre.

Her er et berømt eksempel: det er sterk positiv korrelasjon mellom issalg og antall drukningsulykker. Betyr det at is forårsaker drukning? Selvfølgelig ikke. Begge variablene påvirkes av en tredje faktor – varmt vær. Når det er varmt, kjøper folk mer is og flere bader. Den tredje variabelen som påvirker begge de andre kalles en konfunderende variabel.

Et annet eksempel: det finnes sterk korrelasjon mellom antall brannstasjoner i en by og antall kriminalitetssaker. Flere brannstasjoner fører altså til mer kriminalitet? Nei – begge er konsekvenser av byens størrelse. Større byer har flere brannstasjoner og flere kriminalitetssaker.

Hva skal til for å påvise kausalitet? Det krever kontrollerte eksperimenter der du endrer én variabel og holder alt annet konstant, eller avanserte statistiske metoder som kontrollerer for konfunderende variabler. En enkel regresjonsanalyse med to variabler kan aldri alene bevise årsakssammenheng.

Neste gang du leser en nyhetsartikkel som sier «Studie viser sammenheng mellom X og Y», tenk deg om: er det korrelasjon eller kausalitet? Hva kan være konfunderende variabler?

Prediksjon med regresjonslinjen

Når vi har funnet regresjonslinjen og vurdert at korrelasjonen er sterk nok, kan vi bruke modellen til å lage forutsigelser – men med klokskap.

Ta eksempelet med leksetid og prøvepoeng: $y = 6{,}5x + 21{,}5$ med $r = 0{,}997$. Dataene går fra $x = 2$ til $x = 10$ timer. Hva forventer vi for en elev som leser 9 timer per uke? $y = 6{,}5 \cdot 9 + 21{,}5 = 80$ poeng. Siden 9 ligger mellom datapunktene 8 og 10, er dette interpolering – og med $r$ så nær 1 er anslaget ganske pålitelig.

Men hva med 20 timer? $y = 6{,}5 \cdot 20 + 21{,}5 = 151{,}5$ poeng. Hvis prøven har maks 100 poeng, er dette åpenbart umulig. Vi har ekstrapolert langt utenfor dataområdet, og modellen bryter sammen.

Det er også viktig å huske at selv med sterk korrelasjon er regresjonslinjen bare et gjennomsnittlig mønster. Enkeltpersoner kan avvike betydelig. En elev som leser 5 timer kan score 80 poeng (langt over linjen), mens en annen som leser 8 timer kan score 60 (under linjen). Modellen beskriver trenden, ikke individer.

Når du bruker GeoGebra, følg disse stegene: opprett en liste med datapunkter, bruk RegLin(liste) for å finne linjen, sjekk $r$-verdien for å vurdere styrken, og vurder alltid om du interpolerer eller ekstrapolerer før du stoler på resultatet.

Oppsummering

Lineær regresjon er en metode for å finne den rette linjen $y = ax + b$ som passer best til et sett med datapunkter. Den bruker minste kvadraters metode: linjen som minimerer summen av de kvadrerte vertikale avstandene (residualene) mellom punktene og linjen.

Korrelasjonskoeffisienten $r$ måler styrken og retningen på den lineære sammenhengen. Verdien ligger mellom $-1$ og $1$: sterk korrelasjon for $|r| > 0{,}8$, moderat for $0{,}5 < |r| < 0{,}8$, og svak for $|r| < 0{,}5$. Stigningstallet i regresjonslinjen forteller oss hvor mye $y$ i gjennomsnitt endrer seg per enhet endring i $x$.

Korrelasjon betyr ikke kausalitet. To variabler kan korrelere sterkt uten at den ene forårsaker den andre – ofte fordi begge påvirkes av en konfunderende variabel. Vær alltid skeptisk til årsaksslutninger basert på ren korrelasjon. Og bruk regresjonslinjen forsiktig: interpolering er generelt pålitelig, men ekstrapolering kan gi urealistiske resultater.