Korelacja i regresja liniowa - cs.put.poznan.pl · Korelacja i regresja liniowa Agnieszka Mensfelt...
Transcript of Korelacja i regresja liniowa - cs.put.poznan.pl · Korelacja i regresja liniowa Agnieszka Mensfelt...
Korelacja i regresja liniowa
Agnieszka Mensfelt
14 maja 2018
Analiza zależności zmiennych ilościowych
50
100
150
200
120 150 180 210 240wzrost [cm]
wag
a [k
g]
Kowariancja
Kowariancja zmiennych losowych
var(X ) = E [(X − µ)2]
cov(X ,Y ) = E [(X − µx)(Y − µy )]
cov(X ,X ) =?
Estymator kowariancji
sXY =1
n − 1
n∑i=1
(Xi − X )(Yi − Y )
Kowariancja a niezależność zmiennych
E [(X − µx)(Y − µy )] = E [XY − XµY − YµX − µXµY ]
= E [XY ]− E [XµY ]− E [YµX ] + µXµY = E [XY ]− µXµY
Współczynnik korelacji liniowej Pearsona
Korelacja zmiennych losowych
ρ =cov(X ,Y )
σXσY
Estymator współczynnika korelacji
r =
∑ni=1(Xi − X )(Yi − Y )√
(∑n
i=1(Xi − X )2)(∑n
i=1(Yi − Y )2)
Przykład
Przykład
-1 0.8
-0.7 0
Test na istotność współczynnika korelacji
Układ hipotez:H0 : ρ = 0H1 : ρ > / 6= / < 0
Statystyka:
t =r√1− r2
√n − 2 ∼ t(n − 2)
Prosta regresja liniowa
0
2
4
6
0 2 4 6x
y
Prosta regresja liniowa
Y = Y + εY = β0 + β1X + ε
0
2
4
6
0 2 4 6x
y
β0}
{
{ β1
1
{ε
Prosta regresja liniowa
Założenia:
Zależność liniowa między X i Y
Wartości zmiennej niezależnej X są ustalone
ε ∼ N(0, σ2)
Metoda najmniejszych kwadratów
Y = b0 + b1X + eY = b0 + b1Xei = yi − yi
0
2
4
6
0 2 4 6x
y{
e2
y2
y2
Metoda najmniejszych kwadratów
Suma kwadratów rezyduów
n∑i=1
e2i =n∑
i=1
(yi − yi )2
=n∑
i=1
(yi − (b1xi + b0))2
Współczynnik kierunkowy i wyraz wolny
b1 =cov(X ,Y )
s2(X )= r
sYsX
b0 = y − b1x
prosta regresji przechodzi przez (x , y)znak(b1) = znak(r)
Kwartet Anscombe’a
Źródło:https://en.wikipedia.org/wiki/Anscombe%27s_quartet