formalnie: Jednokierunkowe sieci neuronowe i dane (z ominięciem efektu GIGO)...

formalnie:

Jednokierunkowe sieci neuronowe i dane (z ominięciem efektu GIGO)...

Dorota Cendrowska

nieformalnie:

Widzieć to co jest, a nie to co chcemy zobaczyć...

Plan wykładu

sieci jednokierunkowe, jednowarstwowe: budowa

metoda uczenia

zastosowanie

kodowanie wyjścia: „1 na 1” binarne

typy danych: konsekwencje z tego wynikające „konwersja” typów danych wstępna obróbka danych

Neuron (perceptron) i klasyfikacja

zdolność do uogólniania (?)

sieć jednowarstwowa

wejście:

warstwa przetwarzająca

wyjście:

.

.

.

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

Przetwarzanie...

wejście:


wyjście:

.

.

.

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

Przetwarzanie...

wejście:


wyjście:

.

.

.

NET1

x1

.

.

.

xn

1

y2

y1

y3

yk

NET2

NET3

NETk

Przetwarzanie...

wejście:


wyjście:

.

.

.

f

x1

.

.

.

xn

1

f

f

f

y2

y1

y3

y4

Uczenie (I)

wzorzec uczący:

zbiór uczący:

.

.

.

f

x1

.

.

.

xn

1

f

f

f

y2

y1

y3

y4

Uczenie (II)

wzorzec uczący:

otrzymane wyjście:

korekta wag: ...

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

d2

d1

d3

dk

?

Jak?

korekta wag:

.

.

.

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

d2

d1

d3

dk

?

Jak?

korekta wag:

.

.

.

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

d2

d1

d3

dk

Jak?

korekta wag:

.

.

.

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

d2

d1

d3

dk

=1 =0,5 =0,2

Jak?

korekta wag:

.

.

.

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

d2

d1

d3

dk

Uczenie

wzorzec uczący:

otrzymane wyjście:

korekta wag*: ...

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

d2

d1

d3

dk

* metoda perceptronowa lub metoda delty

kodowanie wyjścia w sieci jednowarstwowej

x1

OldsMobile Intrique S

x2

niedobry

oczekiwane wyjście (d)

BMW Z3 S dobry

Citroen C3 S dobry

OldsMobile Intrique L niedobry

OldsMobile Intrique M niedobry

Citroen C3 M dobry

BMW Z3 L niedobry

BMW Z3 M niedobry

Citroen C3 L dobry

dobry

niedobryy1 ?


x1


x2

niedobry


BMW Z3 S dobry

Citroen C3 S dobry



Citroen C3 M dobry

BMW Z3 L niedobry

BMW Z3 M niedobry

Citroen C3 L dobry

dobry

niedobryy1

d2y2

d3y3

d4y4

d5y5

d1y1

dobry

niedobryy1


kodowanie „jeden na jeden”

klasa 2

klasy

klasa 3

klasa 1

klasa 4

0

neuron 1(d1)

0

1

0

klasa 5 0

1

neuron 2(d2)

0

0

0

0

0

neuron 3(d3)

1

0

0

0

0

neuron 4(d4)

0

0

1

0

0

neuron 5(d5)

0

0

0

1

d2y2

d3y3

d4y4

d5y5

d1y1


kodowanie „binarne”

klasa 2

klasa 3

klasa 1

klasa 4

0

0

1

1

klasa 5 1

1

0

0

0

0

0

1

0

0

1

klasyneuron 1

(d1)neuron 2

(d2)neuron 3

(d3)

d2y2

d3y3

d1y1

Sieć jednowarstwowa… i klasyfikacja

zdolność do uogólniania (?)

?

informacja ilościowa

informacja jakościowa

Typy danych a typy informacji...

informacja ilościowa (numeryczna): dyskretna:

dochód w zł, rozmiar buta, wzrost ciągła:

temperatura powietrza, waga ciała

informacja jakościowa (kategoryczna): porządkowa:

wykształcenie, stopień opanowania języka obcego

symboliczna: płeć, stan cywilny


informacja ilościowa (numeryczna): dyskretna:

dochód w zł, rozmiar buta, wzrost ciągła:

temperatura powietrza, waga ciała

informacja jakościowa (kategoryczna): porządkowa:

wykształcenie, stopień opanowania języka obcego

symboliczna: płeć, stan cywilny


==

==>,<

==>,<+, -*, /

informacja ilościowa (numeryczna): dyskretna ciągła

informacja jakościowa (kategoryczna): symboliczna porządkowa

15°C

59°F

288,15°K

ciepło

zimno21

dorosły

22

młody

stary

[255, 102, 0]

ceglany

pomarańczowy

[0, 60, 100,0]


informacja ilościowa (numeryczna): dyskretna ciągła

informacja jakościowa (kategoryczna): symboliczna porządkowa

Przetwarzanie danych przez sieci neuronowe

?

w1w2w3w4

yfx1=120000

x2=0.3x3=7

1

x1=dużyx2=protestant

x3=5501

w1w2w3w4

f

Konwersje

informacjailościowa

informacjajakościowa

wzrost

wymiaryS, M, L

XL, XXL, XXXL



Konwersja na informację jakościową

technika „równych przedziałów”:


A1 A2 A3 A4 A5 A6 A7

technika „równych przedziałów”:

technika „równoliczności”:


B1 B2B3

wartości atrybutów jakościowych

A1 A2 A3 A4 A5 A6 A7



Konwersje

w1w2w3

yfx1=marka samochodu

x2=rozmiar odzieży1

?

Konwersja na informację ilościową

w1w2w3

yfx1=marka samochodu

x2=rozmiar odzieży1

x1


x2

niedobry


BMW Z3 S dobry

Citroen C3 S dobry



Citroen C3 M dobry

BMW Z3 L niedobry

BMW Z3 M niedobry

Citroen C3 L dobry


X1 = { Citroen C3, OldsMobile Intrique, BMW Z3 }

X2 = { S, M, L } A2 = { 1, 2, 3 }

A1 = { 1, 2, 3 }

x1


x2

niedobry


BMW Z3 S dobry

Citroen C3 S dobry



Citroen C3 M dobry

BMW Z3 L niedobry

BMW Z3 M niedobry

Citroen C3 L dobry


X1 = { Citroen C3, OldsMobile Intrique, BMW Z3 }

X2 = { S, M, L } A2 = { 1, 2, 3 }

A1 = { 1, 2, 3 }

x1


x2

niedobry


BMW Z3 S dobry

Citroen C3 S dobry



Citroen C3 M dobry

BMW Z3 L niedobry

BMW Z3 M niedobry

Citroen C3 L dobry

(3)BMW

(2)

OldsMobile

(1)Citroen

S (1)

M (2)

L (3)


x1


x2

niedobry


BMW Z3 S dobry

Citroen C3 S dobry



Citroen C3 M dobry

BMW Z3 L niedobry

BMW Z3 M niedobry

Citroen C3 L dobry

X1 = { Citroen C3, BMW Z3, OldsMobile Intrique }

X2 = { S, M, L } A2 = { 1, 2, 3 }

A1 = { 1, 2, 3 }


x1


x2

niedobry


BMW Z3 S dobry

Citroen C3 S dobry



Citroen C3 M dobry

BMW Z3 L niedobry

BMW Z3 M niedobry

Citroen C3 L dobry

X1 = { Citroen C3, BMW Z3, OldsMobile Intrique }

X2 = { S, M, L } A2 = { 1, 2, 3 }

A1 = { 1, 2, 3 }

(3)OldsMobile

(2)BMW

(1)Citroen

S (1)

M (2)

L (3)

Co mówią a czego nie pojedyncze mierniki

lokalizacja A: temperatura w lecie 16,5–20˚C

lokalizacja B: temperatura w czerwcu 21,4˚C

?

Co mówią a czego nie pojedyncze mierniki

lokalizacja A: średnia temperatura w lecie 16,5–20˚C

lokalizacja B: średnia temperatura w czerwcu 21,4˚C

Siła kilku prostych mierników

Polska: średnia temperatura w lecie 16,5–20˚C średnia temperatura w roku 7–8˚C

(poza obszarami górskimi)

Zachodnia Sahara: średnia temperatura w czerwcu 21,4˚C średnia temperatura w roku 20,3˚C minimalna temperatura: prawie 0˚C maksymalna średnia temperatura dobowa: 57˚C

Średnio czyli jak?

Człowiek A: 6000 zł 2000 zł

Istota B: 3000 zł 2000 zł

Średnio czyli jak?



średnio zarobił 4000

zł

średnio zarobiła 2500 zł

Średnio czyli jak?



Kim chciał(a)byś być?

Którą pracę byś rzucił(a)?


zł

średnio zarobiła 2500 zł

Średnio czyli jak?

Ile wynosi średnia stawka za godzinę?zarobki

2000A

osoba

40

liczba godzin pracy

3000B 40

6000A 160

2000B 10

50

stawka [zł/h]

75

37,5

200

Średnio czyli jak?

Ile wynosi średnia stawka za godzinę?

średnia arytmetyczna:

zarobki

2000A

osoba

40

liczba godzin pracy

3000B 40

6000A 160

2000B 10

50

stawka [zł/h]

75

37,5

200

stawkaA=43,75

stawkaB=137,5 ?

Średnio czyli jak?

Ile wynosi średnia stawka za godzinę?

średnia arytmetyczna:

średnia ważona:

zarobki

2000A

osoba

40

liczba godzin pracy

3000B 40

6000A 160

2000B 10

50

stawka [zł/h]

75

37,5

200

Średnio czyli jak?



Tylko co robić z pozostałym czasem? :)


zł

średnia stawka: 40 zł


zł

średnia stawka: 100

zł

Mierniki pozycyjne

Mediana — element środkowy:

1, 2, 4, 5, 6, 7, 10, 20, 100 M=6średnia=17,22

Mierniki pozycyjne


1, 2, 4, 5, 6, 7, 10, 20, 100 M=61, 2, 4, 5, 6, 7, 10, 20

M=5,5

średnia=17,22średnia=6,88

Mierniki pozycyjne


Kwartyl Q1:

1, 2, 4, 5, 6, 7, 10, 20, 100 M=61, 2, 4, 5, 6, 7, 10, 20

M=5,5

1, 2, 4, 5, 6, 7, 10, 20, 100 Q1=4

1, 2, 4, 5, 6, 7, 10, 20 Q1=3

Mierniki pozycyjne


Kwartyl Q1:

Kwartyl Q3:

1, 2, 4, 5, 6, 7, 10, 20, 100 M=61, 2, 4, 5, 6, 7, 10, 20

M=5,5

1, 2, 4, 5, 6, 7, 10, 20, 100 Q1=4

1, 2, 4, 5, 6, 7, 10, 20 Q1=3

1, 2, 4, 5, 6, 7, 10, 20, 100 Q3=10

1, 2, 4, 5, 6, 7, 10, 20 Q3=8,5

Mierniki pozycyjne


Kwartyl Q1:

Kwartyl Q3:

rozstęp kwartylowy IQR: Q3–Q1

1, 2, 4, 5, 6, 7, 10, 20, 100 M=61, 2, 4, 5, 6, 7, 10, 20

M=5,5

1, 2, 4, 5, 6, 7, 10, 20, 100 Q1=4

1, 2, 4, 5, 6, 7, 10, 20 Q1=3

1, 2, 4, 5, 6, 7, 10, 20, 100 Q3=10

1, 2, 4, 5, 6, 7, 10, 20 Q3=8,5

IQR=6

IQR=5,5

Wszyscy nie są tacy sami, czyli o odchyleniach

Odchylenie standardowe:

Wszyscy nie są tacy sami, czyli o odchyleniach

Odchylenie standardowe:

Odchylenie przeciętne:

wstępna obróbka danych (?):

Po co proste mierniki?

w1w2w3w4

yfx1=120000

x2=0.3x3=7

1

wstępna obróbka danych: standaryzacja („wybielanie”):


w1w2w3w4

yfx1=120000

x2=0.3x3=7

1

wstępna obróbka danych: standaryzacja („wybielanie”):

analiza składowych głównych


w1w2w3w4

yfx1=120000

x2=0.3x3=7

1

Analiza składowych głównych (ilustracja)

Atrybut B

Atrybut A

Atrybut B

Atrybut A?

klasa 2klasa 1


Atrybut B

Atrybut A

?

klasa 2

klasa 1



Atrybut B

Atrybut A

Atrybu

t1

klasa 1

Atrybu

t2

klasa 2

Totolotek...

Kto gra?

Kto podpuszcza?

Kto w co wierzy w kategorii „gier”?

Histogram... optymisty

wszystkie możliwe wartości

liczb

a w

ystą

pie

ń w

zb

iorz

e

Histogram... umiarkowanego optymisty

Co można wykryć przy użyciu histogramu?

zbiór: Pima Indians Diabetes Database

Wykresy pudełkowe

klasa 1 klasa 2

atrybut X

Wykresy pudełkowe

klasa 1 klasa 2

atrybut X

mediana

Q1

Q3

wąs, max. dł.: 1,5IQR

jak zwykle, zamiast zakończenia...

filozoficznie:

fragment okładki i książki pt. „Paddington daje sobie radę”

(autor: Michael Bond)

— Wie pani — powiedział do pani Bird, gdy przyszła do jadalni, by sprawdzić, czy już zjadł grzankę z marmoladą — nigdy dotąd nie zrobiłem wszystkiego, bo gdybym zrobił, to nie czekałyby mnie już żadne niespodzianki.

formalnie: Jednokierunkowe sieci neuronowe i dane (z ominięciem efektu GIGO)...

Documents

Transcript of formalnie: Jednokierunkowe sieci neuronowe i dane (z ominięciem efektu GIGO)...