Interaktive lærebøker for norsk skole

Minste kvadraters metode og regresjonsanalyse.

55 min

16 oppgaver

Lineær regresjonMinste kvadratRegresjonslinjePrediksjon

Din fremgang i kapitlet

0 / 16 oppgaver

Kapitlets plass i kurset

Brukes videre i

6.2Korrelasjon 6.4Residualanalyse og modellvalidering 6.5Multippel regresjon

Hva er lineær regresjon?

Lineær regresjon er en statistisk metode for å finne den rette linjen som best beskriver sammenhengen mellom to variabler.

Forklaringsvariabel $x$ (uavhengig variabel): den vi bruker til å forklare eller predikere.
Responsvariabel $y$ (avhengig variabel): den vi ønsker å forklare eller predikere.

Når vi har $n$ observasjonspar $(x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n)$ , ønsker vi å finne den rette linjen:
$\hat{y} = ax + b$

som passer best til dataene. Her er $\hat{y}$ den predikerte verdien av $y$ for en gitt $x$ .

Minste kvadraters metode (MKM)

a

📜Regresjonskoeffisienter

Stigningstallet (helningen) og konstantleddet i regresjonslinjen

\hat{y} = ax + b

er:

$a = \frac{n\sum x_i y_i - \sum x_i \sum y_i}{n\sum x_i^2 - (\sum x_i)^2} = \frac{S_{xy}}{S_{xx}}$

$b = \bar{y} - a\bar{x}$

der:
- $S_{xy} = \sum(x_i - \bar{x})(y_i - \bar{y})$
- $S_{xx} = \sum(x_i - \bar{x})^2$
- $\bar{x}$ og $\bar{y}$ er gjennomsnittene

Regresjonslinjen går alltid gjennom punktet $(\bar{x}, \bar{y})$ .

✏️Beregne regresjonslinje

En bedrift måler sammenhengen mellom annonsering ( $x$ , i tusen kroner) og salg ( $y$ , i tusen enheter):

$x$	1	2	3	4	5
$y$	3	5	6	8	9

Finn regresjonslinjen

\hat{y} = ax + b

Beregn hjelpestørrelser:

n = 5

\bar{x} = 3

\bar{y} = 6{,}2

$\sum x_i y_i = 1 \cdot 3 + 2 \cdot 5 + 3 \cdot 6 + 4 \cdot 8 + 5 \cdot 9 = 3 + 10 + 18 + 32 + 45 = 108$

$\sum x_i = 15$ , $\sum y_i = 31$ , $\sum x_i^2 = 1 + 4 + 9 + 16 + 25 = 55$

Stigningstall:
$a = \frac{5 \cdot 108 - 15 \cdot 31}{5 \cdot 55 - 15^2} = \frac{540 - 465}{275 - 225} = \frac{75}{50} = 1{,}5$

Konstantledd:
$b = 6{,}2 - 1{,}5 \cdot 3 = 6{,}2 - 4{,}5 = 1{,}7$

Regresjonslinje: $\hat{y} = 1{,}5x + 1{,}7$

Tolkning: For hver ekstra tusen kroner i annonsering øker salget med ca. 1500 enheter.

Residualer

Et residual er forskjellen mellom observert og predikert verdi:
$e_i = y_i - \hat{y}_i$

Residualene forteller oss hvor godt modellen passer til hvert datapunkt.

Residualplott er et diagram der residualene $e_i$ plottes mot $x_i$ (eller $\hat{y}_i$ ). Et godt residualplott viser:
- Ingen systematisk mønster (tilfeldig spredning rundt null)
- Omtrent lik spredning over hele $x$ -området

Problematiske mønstre:
- Krumning: Lineær modell passer ikke, prøv ikke-lineær regresjon
- Vifte: Økende variasjon, forutsetningen om konstant varians er brutt
- Klynger: Mulig gruppering i dataene

✏️Beregne residualer

Med regresjonslinjen $\hat{y} = 1{,}5x + 1{,}7$ fra forrige eksempel, beregn residualene for alle datapunktene.

$x_i$	$y_i$	$\hat{y}_i = 1{,}5x_i + 1{,}7$	$e_i = y_i - \hat{y}_i$
1	3	3,2	$-0{,}2$
2	5	4,7	$0{,}3$
3	6	6,2	$-0{,}2$
4	8	7,7	$0{,}3$
5	9	9,2	$-0{,}2$

Kontroll:

\sum e_i = -0{,}2 + 0{,}3 - 0{,}2 + 0{,}3 - 0{,}2 = 0

✓
Residualene er små og veksler i fortegn, noe som tyder på en god tilpasning.

Forklaringsgraden $R^2$

R^2

✏️Beregne $R^2$

Beregn $R^2$ for eksempelet med annonsering og salg.

SSE (uforklart variasjon):

\text{SSE} = (-0{,}2)^2 + 0{,}3^2 + (-0{,}2)^2 + 0{,}3^2 + (-0{,}2)^2 = 0{,}04 + 0{,}09 + 0{,}04 + 0{,}09 + 0{,}04 = 0{,}30

SST (total variasjon): $\bar{y} = 6{,}2$
$\text{SST} = (3-6{,}2)^2 + (5-6{,}2)^2 + (6-6{,}2)^2 + (8-6{,}2)^2 + (9-6{,}2)^2$
$= 10{,}24 + 1{,}44 + 0{,}04 + 3{,}24 + 7{,}84 = 22{,}80$

Forklaringsgrad:
$R^2 = 1 - \frac{0{,}30}{22{,}80} = 1 - 0{,}0132 = 0{,}987$

Hele 98,7 % av variasjonen i salg forklares av annonsering. Svært god tilpasning!

Prediksjon og ekstrapolering

Prediksjon betyr å bruke regresjonsmodellen til å anslå $y$ for en gitt $x$ -verdi.

Interpolering: Prediksjon for $x$ -verdier innenfor området til observerte data. Vanligvis pålitelig.

Ekstrapolering: Prediksjon for $x$ -verdier utenfor det observerte området. Kan være svært upålitelig fordi vi ikke vet om det lineære mønsteret fortsetter.

Eksempel: Hvis vi har data for annonsering mellom 1 og 5 tusen kroner, er det rimelig å predikere salg for $x = 3{,}5$ (interpolering), men risikabelt for $x = 20$ (ekstrapolering). Ved $x = 20$ ville modellen gi $\hat{y} = 1{,}5 \cdot 20 + 1{,}7 = 31{,}7$ , men i virkeligheten kan det finnes en metningseffekt.

📝Oppgave 1

Løs oppgavene:

Hva betyr $a$ og $b$ i regresjonslinjen $\hat{y} = ax + b$ ?

Regresjonslinjen er $\hat{y} = 2{,}3x + 5$ . Hva er predikert $y$ for $x = 4$ ?

📝Oppgave 2

Løs oppgavene:

Hva er et residual, og hva betyr det at residualet er positivt?

Hva er alltid $\sum e_i$ for en regresjonslinje funnet med MKM?

📝Oppgave 3

Løs oppgavene:

Hva forteller $R^2 = 0{,}72$ oss?

Hva er forskjellen mellom interpolering og ekstrapolering?

📝Oppgave 4

Løs oppgavene:

Gitt $\bar{x} = 5$ , $\bar{y} = 12$ , $a = 1{,}8$ . Finn $b$ .

📝Oppgave 5

Løs oppgavene:

Data: $(1, 2)$ , $(2, 4)$ , $(3, 5)$ , $(4, 7)$ . Finn regresjonslinjen.

📝Oppgave 6

Løs oppgavene:

Bruk regresjonslinjen fra oppgave 5 til å beregne residualene for alle fire datapunkter.

📝Oppgave 7

Løs oppgavene:

Beregn $R^2$ for modellen fra oppgave 5.

📝Oppgave 8

Løs oppgavene:

Studietid ( $x$ , timer) og testresultat ( $y$ , poeng): $(2, 50)$ , $(3, 60)$ , $(5, 75)$ , $(6, 80)$ , $(8, 90)$ . Finn regresjonslinjen og tolk stigningstallet.

📝Oppgave 9

Løs oppgavene:

Bruk regresjonsmodellen $\hat{y} = 6{,}62x + 39{,}2$ til å predikere poengsummen for en elev som studerer 7 timer. Er dette interpolering eller ekstrapolering?

📝Oppgave 10

Løs oppgavene:

Forklar hva det betyr dersom residualplottet viser et buet mønster.

📝Oppgave 11

Løs oppgavene:

Vis at regresjonslinjen alltid går gjennom punktet $(\bar{x}, \bar{y})$ .

📝Oppgave 12

Løs oppgavene:

Alder ( $x$ , år) og blodtrykk ( $y$ , mmHg): $(25, 118)$ , $(30, 120)$ , $(40, 128)$ , $(50, 135)$ , $(60, 142)$ , $(65, 148)$ . Finn regresjonslinjen, beregn $R^2$ , og prediker blodtrykket for en 45-åring.

📝Oppgave 13

Løs oppgavene:

I oppgave 12 fikk vi en modell for blodtrykk. Ville du brukt modellen til å predikere blodtrykket for en 5-åring? For en 90-åring? Begrunn svaret.

📝Oppgave 14

Løs oppgavene:

Vis at SST = SSR + SSE, der SSR $= \sum(\hat{y}_i - \bar{y})^2$ er variasjonen forklart av modellen. Forklar hva dette betyr.

📝Oppgave 15

Løs oppgavene:

Temperatur ( $x$ , °C) og iskremsalg ( $y$ , enheter): $(15, 200)$ , $(20, 350)$ , $(22, 400)$ , $(25, 500)$ , $(28, 620)$ , $(30, 700)$ . Finn regresjonslinjen og gi et 95 % prediksjonsintervall for salg ved 24°C (du kan anta at $R^2$ er svært høy).

📝Oppgave 16

Løs oppgavene:

Forklar hvorfor $R^2$ alene ikke er tilstrekkelig for å vurdere en regresjonsmodell. Hvilke andre verktøy bør brukes?

x

y

x_i

y_i

\hat{y}_i = 1{,}5x_i + 1{,}7

e_i = y_i - \hat{y}_i

3,2

-0{,}2

4,7

0{,}3

6,2

-0{,}2

7,7

0{,}3

9,2

-0{,}2

Prediksjon og ekstrapolering

Prediksjon betyr å bruke regresjonsmodellen til å anslå $y$ for en gitt $x$ -verdi.

Interpolering: Prediksjon for $x$ -verdier innenfor området til observerte data. Vanligvis pålitelig.

Ekstrapolering: Prediksjon for $x$ -verdier utenfor det observerte området. Kan være svært upålitelig fordi vi ikke vet om det lineære mønsteret fortsetter.

6.1 Lineær regresjon

Hva er lineær regresjon?

Residualer

Prediksjon og ekstrapolering

6.1 Lineær regresjon

Hva er lineær regresjon?

Residualer

Prediksjon og ekstrapolering