WstępOpis formalnyNarzędziaOcena

Model probabilistyczny zadania rozpoznawania jako opis niepewnejinformacji

Grzegorz Mianowski

Sudium Podstawowych problemów Informatyki3. rok

10 marca 2008

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Motto

”Wątpliwość nie jest przyjemnym stanem umysłu,lecz pewność jest stanem śmiesznym”

Wolter

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Opisy niepewności

Model współczynnika pewności

Teoria ewidencji Dempstera-Schafera

Model probabilistyczny(statystyczny)

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Opisy niepewności

Model współczynnika pewności

Teoria ewidencji Dempstera-Schafera

Model probabilistyczny(statystyczny)

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Zadanie rozpoznawania

ψ : X→M

x = (x (1), x (2), . . . , x (d)) ∈ Xi , j ∈M(X , J)-para zmiennych losowych

założenie ułatwiające: X ⊆ RdX ciągła

dlaczego ułatwiające?

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Zadanie rozpoznawania

ψ : X→Mx = (x (1), x (2), . . . , x (d)) ∈ X

i , j ∈M(X , J)-para zmiennych losowych

założenie ułatwiające: X ⊆ RdX ciągła

dlaczego ułatwiające?

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Zadanie rozpoznawania

ψ : X→Mx = (x (1), x (2), . . . , x (d)) ∈ Xi , j ∈M

(X , J)-para zmiennych losowych

założenie ułatwiające: X ⊆ RdX ciągła

dlaczego ułatwiające?

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Zadanie rozpoznawania

ψ : X→Mx = (x (1), x (2), . . . , x (d)) ∈ Xi , j ∈M(X , J)-para zmiennych losowych

założenie ułatwiające: X ⊆ RdX ciągła

dlaczego ułatwiające?

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Zadanie rozpoznawania

ψ : X→Mx = (x (1), x (2), . . . , x (d)) ∈ Xi , j ∈M(X , J)-para zmiennych losowych

założenie ułatwiające: X ⊆ RdX ciągła

dlaczego ułatwiające?

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Zadanie rozpoznawania

ψ : X→Mx = (x (1), x (2), . . . , x (d)) ∈ Xi , j ∈M(X , J)-para zmiennych losowych

założenie ułatwiające: X ⊆ RdX ciągła

dlaczego ułatwiające?

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Ważne pojęcia

Prawdopodobieństwo a priori klas

P(J = j) = pj j ∈M

Warunkowa gęstość cech w klasie

f (x/j) = fj(x), x ∈ X

Bezwarunkowa gęstość prawdopodobieństwa zmiennej losowej X

f (x) =∑j∈Mpj fj(x), x ∈ X

∀x ∈ X f (x) > 0

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Ważne pojęcia

Prawdopodobieństwo a priori klas

P(J = j) = pj j ∈M

Warunkowa gęstość cech w klasie

f (x/j) = fj(x), x ∈ X

Bezwarunkowa gęstość prawdopodobieństwa zmiennej losowej X

f (x) =∑j∈Mpj fj(x), x ∈ X

∀x ∈ X f (x) > 0

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Ważne pojęcia

Prawdopodobieństwo a priori klas

P(J = j) = pj j ∈M

Warunkowa gęstość cech w klasie

f (x/j) = fj(x), x ∈ X

Bezwarunkowa gęstość prawdopodobieństwa zmiennej losowej X

f (x) =∑j∈Mpj fj(x), x ∈ X

∀x ∈ X f (x) > 0

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Funkcja strat (ang. loss function)

Założenie

0 ≤ L(i , j) <∞ i , j ∈M

Rada (tak się zazwyczaj przyjmuje)

∀j ∈M L(j , j) = 0

Zerojedynkowa funkcja strat

L(i , j) =

{0 dla i = j ,1 dla i 6= j .

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Funkcja strat (ang. loss function)

Założenie

0 ≤ L(i , j) <∞ i , j ∈M

Rada (tak się zazwyczaj przyjmuje)

∀j ∈M L(j , j) = 0

Zerojedynkowa funkcja strat

L(i , j) =

{0 dla i = j ,1 dla i 6= j .

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Warunkowe prawdopodobieństwo klasyfikacji

Wynik rozpoznawania

I = ψ(X )

q(i , j) = P(I = i/J = j) =∫D(i)x

fj(x)dx , i , j ∈M

Prawdopodobieństwo poprawnej klasyfikacji przez algorytm ψ (dladanej klasy)

q(j , j)

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Prawdopodobieństwa średnie

Średnie prawdopodobieństwo poprawnej klasyfikacji

Pc[ψ] = f (x) =∑j∈Mpjq(j , j) = f (x) =

∑j∈Mpj

∫D(j)x

fj(x)dx

Średnie prawdopodobieństwo błędu

Pe[ψ] = 1− Pc[ψ] =∑j∈Mpj

∑i∈M,i 6=j

q(i/j)

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Prawdopodobieństwa średnie

Średnie prawdopodobieństwo poprawnej klasyfikacji

Pc[ψ] = f (x) =∑j∈Mpjq(j , j) = f (x) =

∑j∈Mpj

∫D(j)x

fj(x)dx

Średnie prawdopodobieństwo błędu

Pe[ψ] = 1− Pc[ψ] =∑j∈Mpj

∑i∈M,i 6=j

q(i/j)

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Ryzyko

Średnie ryzyko

R[ψ] = EI ,J [L(I , J)] = EX ,J [L(ψ(X ), J)]

Ryzyka warunkowe

rj = EX/j [L(ψ(X ), j)] =

∫X

L(i , j)fj(x)dx

Średnie ryzyko

R[ψ] =∑j∈Mpj rj

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Prawdopodobieństwo a posteriori klasy j-ej

Dla pojedynczej klasy

pj(x) =pj fj(x)f (x)

Grzegorz Mianowski Rozpoznawanie - probabilistycznie

WstępOpis formalnyNarzędziaOcena

Dziękuję za uwagę.

Grzegorz Mianowski Rozpoznawanie - probabilistycznie