Korelacja i regresja liniowa

Agnieszka Mensfelt

14 maja 2018

Analiza zależności zmiennych ilościowych

50

100

150

200

120 150 180 210 240wzrost [cm]

wag

a [k

g]

Kowariancja

Kowariancja zmiennych losowych

var(X ) = E [(X − µ)2]

cov(X ,Y ) = E [(X − µx)(Y − µy )]

cov(X ,X ) =?

Estymator kowariancji

sXY =1

n − 1

n∑i=1

(Xi − X )(Yi − Y )

Kowariancja a niezależność zmiennych

E [(X − µx)(Y − µy )] = E [XY − XµY − YµX − µXµY ]

= E [XY ]− E [XµY ]− E [YµX ] + µXµY = E [XY ]− µXµY

Współczynnik korelacji liniowej Pearsona

Korelacja zmiennych losowych

ρ =cov(X ,Y )

σXσY

Estymator współczynnika korelacji

r =

∑ni=1(Xi − X )(Yi − Y )√

(∑n

i=1(Xi − X )2)(∑n

i=1(Yi − Y )2)

Przykład

Przykład

-1 0.8

-0.7 0

Test na istotność współczynnika korelacji

Układ hipotez:H0 : ρ = 0H1 : ρ > / 6= / < 0

Statystyka:

t =r√1− r2

√n − 2 ∼ t(n − 2)

Prosta regresja liniowa

0

2

4

6

0 2 4 6x

y

Prosta regresja liniowa

Y = Y + εY = β0 + β1X + ε

0

2

4

6

0 2 4 6x

y

β0}

{

{ β1

1

{ε

Prosta regresja liniowa

Założenia:

Zależność liniowa między X i Y

Wartości zmiennej niezależnej X są ustalone

ε ∼ N(0, σ2)

Metoda najmniejszych kwadratów

Y = b0 + b1X + eY = b0 + b1Xei = yi − yi

0

2

4

6

0 2 4 6x

y{

e2

y2

y2

Metoda najmniejszych kwadratów

Suma kwadratów rezyduów

n∑i=1

e2i =n∑

i=1

(yi − yi )2

=n∑

i=1

(yi − (b1xi + b0))2

Współczynnik kierunkowy i wyraz wolny

b1 =cov(X ,Y )

s2(X )= r

sYsX

b0 = y − b1x

prosta regresji przechodzi przez (x , y)znak(b1) = znak(r)

Kwartet Anscombe’a

Źródło:https://en.wikipedia.org/wiki/Anscombe%27s_quartet