formalnie:

Jednokierunkowe sieci neuronowe i dane (z ominięciem efektu GIGO)...

Dorota Cendrowska

nieformalnie:

Widzieć to co jest, a nie to co chcemy zobaczyć...

Plan wykładu

sieci jednokierunkowe, jednowarstwowe: budowa

metoda uczenia

zastosowanie

kodowanie wyjścia: „1 na 1” binarne

typy danych: konsekwencje z tego wynikające „konwersja” typów danych wstępna obróbka danych

Neuron (perceptron) i klasyfikacja

zdolność do uogólniania (?)

Neuron (perceptron) i klasyfikacja

zdolność do uogólniania (?)

Neuron (perceptron) i klasyfikacja

zdolność do uogólniania (?)

Neuron (perceptron) i klasyfikacja

zdolność do uogólniania (?)

sieć jednowarstwowa

wejście:

warstwa przetwarzająca

wyjście:

.

.

.

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

Przetwarzanie...

wejście:

warstwa przetwarzająca

wyjście:

.

.

.

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

Przetwarzanie...

wejście:

warstwa przetwarzająca

wyjście:

.

.

.

NET1

x1

.

.

.

xn

1

y2

y1

y3

yk

NET2

NET3

NETk

Przetwarzanie...

wejście:

warstwa przetwarzająca

wyjście:

.

.

.

f

x1

.

.

.

xn

1

f

f

f

y2

y1

y3

y4

Uczenie (I)

wzorzec uczący:

zbiór uczący:

.

.

.

f

x1

.

.

.

xn

1

f

f

f

y2

y1

y3

y4

Uczenie (II)

wzorzec uczący:

otrzymane wyjście:

korekta wag: ...

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

d2

d1

d3

dk

?

Jak?

korekta wag:

.

.

.

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

d2

d1

d3

dk

?

Jak?

korekta wag:

.

.

.

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

d2

d1

d3

dk

Jak?

korekta wag:

.

.

.

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

d2

d1

d3

dk

Jak?

korekta wag:

.

.

.

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

d2

d1

d3

dk

=1 =0,5 =0,2

Jak?

korekta wag:

.

.

.

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

d2

d1

d3

dk

Jak?

korekta wag:

.

.

.

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

d2

d1

d3

dk

Uczenie

wzorzec uczący:

otrzymane wyjście:

korekta wag*: ...

w1

x1

.

.

.

xn

1

w2

wk

w3

y2

y1

y3

yk

d2

d1

d3

dk

* metoda perceptronowa lub metoda delty

kodowanie wyjścia w sieci jednowarstwowej

x1

OldsMobile Intrique S

x2

niedobry

oczekiwane wyjście (d)

BMW Z3 S dobry

Citroen C3 S dobry

OldsMobile Intrique L niedobry

OldsMobile Intrique M niedobry

Citroen C3 M dobry

BMW Z3 L niedobry

BMW Z3 M niedobry

Citroen C3 L dobry

dobry

niedobryy1 ?

kodowanie wyjścia w sieci jednowarstwowej

x1

OldsMobile Intrique S

x2

niedobry

oczekiwane wyjście (d)

BMW Z3 S dobry

Citroen C3 S dobry

OldsMobile Intrique L niedobry

OldsMobile Intrique M niedobry

Citroen C3 M dobry

BMW Z3 L niedobry

BMW Z3 M niedobry

Citroen C3 L dobry

dobry

niedobryy1

d2y2

d3y3

d4y4

d5y5

d1y1

dobry

niedobryy1

kodowanie wyjścia w sieci jednowarstwowej

kodowanie „jeden na jeden”

klasa 2

klasy

klasa 3

klasa 1

klasa 4

0

neuron 1(d1)

0

1

0

klasa 5 0

1

neuron 2(d2)

0

0

0

0

0

neuron 3(d3)

1

0

0

0

0

neuron 4(d4)

0

0

1

0

0

neuron 5(d5)

0

0

0

1

d2y2

d3y3

d4y4

d5y5

d1y1

kodowanie wyjścia w sieci jednowarstwowej

kodowanie „binarne”

klasa 2

klasa 3

klasa 1

klasa 4

0

0

1

1

klasa 5 1

1

0

0

0

0

0

1

0

0

1

klasyneuron 1

(d1)neuron 2

(d2)neuron 3

(d3)

d2y2

d3y3

d1y1

Sieć jednowarstwowa… i klasyfikacja

zdolność do uogólniania (?)

?

informacja ilościowa

informacja jakościowa

Typy danych a typy informacji...

informacja ilościowa (numeryczna): dyskretna:

dochód w zł, rozmiar buta, wzrost ciągła:

temperatura powietrza, waga ciała

informacja jakościowa (kategoryczna): porządkowa:

wykształcenie, stopień opanowania języka obcego

symboliczna: płeć, stan cywilny

Typy danych a typy informacji...

informacja ilościowa (numeryczna): dyskretna:

dochód w zł, rozmiar buta, wzrost ciągła:

temperatura powietrza, waga ciała

informacja jakościowa (kategoryczna): porządkowa:

wykształcenie, stopień opanowania języka obcego

symboliczna: płeć, stan cywilny

Typy danych a typy informacji...

==

==>,<

==>,<+, -*, /

informacja ilościowa (numeryczna): dyskretna ciągła

informacja jakościowa (kategoryczna): symboliczna porządkowa

15°C

59°F

288,15°K

ciepło

zimno21

dorosły

22

młody

stary

[255, 102, 0]

ceglany

pomarańczowy

[0, 60, 100,0]

Typy danych a typy informacji...

informacja ilościowa (numeryczna): dyskretna ciągła

informacja jakościowa (kategoryczna): symboliczna porządkowa

Przetwarzanie danych przez sieci neuronowe

?

w1w2w3w4

yfx1=120000

x2=0.3x3=7

1

x1=dużyx2=protestant

x3=5501

w1w2w3w4

f

Konwersje

informacjailościowa

informacjajakościowa

wzrost

wymiaryS, M, L

XL, XXL, XXXL

informacjailościowa

informacjajakościowa

Konwersja na informację jakościową

Konwersja na informację jakościową

technika „równych przedziałów”:

Konwersja na informację jakościową

A1 A2 A3 A4 A5 A6 A7

technika „równych przedziałów”:

technika „równoliczności”:

Konwersja na informację jakościową

B1 B2B3

wartości atrybutów jakościowych

A1 A2 A3 A4 A5 A6 A7

Konwersja na informację jakościową

Konwersja na informację jakościową

Konwersja na informację jakościową

informacjailościowa

informacjajakościowa

Konwersje

w1w2w3

yfx1=marka samochodu

x2=rozmiar odzieży1

?

Konwersja na informację ilościową

w1w2w3

yfx1=marka samochodu

x2=rozmiar odzieży1

x1

OldsMobile Intrique S

x2

niedobry

oczekiwane wyjście (d)

BMW Z3 S dobry

Citroen C3 S dobry

OldsMobile Intrique L niedobry

OldsMobile Intrique M niedobry

Citroen C3 M dobry

BMW Z3 L niedobry

BMW Z3 M niedobry

Citroen C3 L dobry

Konwersja na informację ilościową

X1 = { Citroen C3, OldsMobile Intrique, BMW Z3 }

X2 = { S, M, L } A2 = { 1, 2, 3 }

A1 = { 1, 2, 3 }

x1

OldsMobile Intrique S

x2

niedobry

oczekiwane wyjście (d)

BMW Z3 S dobry

Citroen C3 S dobry

OldsMobile Intrique L niedobry

OldsMobile Intrique M niedobry

Citroen C3 M dobry

BMW Z3 L niedobry

BMW Z3 M niedobry

Citroen C3 L dobry

Konwersja na informację ilościową

X1 = { Citroen C3, OldsMobile Intrique, BMW Z3 }

X2 = { S, M, L } A2 = { 1, 2, 3 }

A1 = { 1, 2, 3 }

x1

OldsMobile Intrique S

x2

niedobry

oczekiwane wyjście (d)

BMW Z3 S dobry

Citroen C3 S dobry

OldsMobile Intrique L niedobry

OldsMobile Intrique M niedobry

Citroen C3 M dobry

BMW Z3 L niedobry

BMW Z3 M niedobry

Citroen C3 L dobry

(3)BMW

(2)

OldsMobile

(1)Citroen

S (1)

M (2)

L (3)

Konwersja na informację ilościową

x1

OldsMobile Intrique S

x2

niedobry

oczekiwane wyjście (d)

BMW Z3 S dobry

Citroen C3 S dobry

OldsMobile Intrique L niedobry

OldsMobile Intrique M niedobry

Citroen C3 M dobry

BMW Z3 L niedobry

BMW Z3 M niedobry

Citroen C3 L dobry

X1 = { Citroen C3, BMW Z3, OldsMobile Intrique }

X2 = { S, M, L } A2 = { 1, 2, 3 }

A1 = { 1, 2, 3 }

Konwersja na informację ilościową

x1

OldsMobile Intrique S

x2

niedobry

oczekiwane wyjście (d)

BMW Z3 S dobry

Citroen C3 S dobry

OldsMobile Intrique L niedobry

OldsMobile Intrique M niedobry

Citroen C3 M dobry

BMW Z3 L niedobry

BMW Z3 M niedobry

Citroen C3 L dobry

X1 = { Citroen C3, BMW Z3, OldsMobile Intrique }

X2 = { S, M, L } A2 = { 1, 2, 3 }

A1 = { 1, 2, 3 }

(3)OldsMobile

(2)BMW

(1)Citroen

S (1)

M (2)

L (3)

Konwersja na informację ilościową

x1

OldsMobile Intrique S

x2

niedobry

oczekiwane wyjście (d)

BMW Z3 S dobry

Citroen C3 S dobry

OldsMobile Intrique L niedobry

OldsMobile Intrique M niedobry

Citroen C3 M dobry

BMW Z3 L niedobry

BMW Z3 M niedobry

Citroen C3 L dobry

X1 = { Citroen C3, BMW Z3, OldsMobile Intrique }

X2 = { S, M, L } A2 = { 1, 2, 3 }

A1 = { 1, 2, 3 }

(3)OldsMobile

(2)BMW

(1)Citroen

S (1)

M (2)

L (3)

Co mówią a czego nie pojedyncze mierniki

lokalizacja A: temperatura w lecie 16,5–20˚C

lokalizacja B: temperatura w czerwcu 21,4˚C

?

Co mówią a czego nie pojedyncze mierniki

lokalizacja A: średnia temperatura w lecie 16,5–20˚C

lokalizacja B: średnia temperatura w czerwcu 21,4˚C

Siła kilku prostych mierników

Polska: średnia temperatura w lecie 16,5–20˚C średnia temperatura w roku 7–8˚C

(poza obszarami górskimi)

Zachodnia Sahara: średnia temperatura w czerwcu 21,4˚C średnia temperatura w roku 20,3˚C minimalna temperatura: prawie 0˚C maksymalna średnia temperatura dobowa: 57˚C

Średnio czyli jak?

Człowiek A: 6000 zł 2000 zł

Istota B: 3000 zł 2000 zł

Średnio czyli jak?

Człowiek A: 6000 zł 2000 zł

Istota B: 3000 zł 2000 zł

średnio zarobił 4000

zł

średnio zarobiła 2500 zł

Średnio czyli jak?

Człowiek A: 6000 zł 2000 zł

Istota B: 3000 zł 2000 zł

Kim chciał(a)byś być?

Którą pracę byś rzucił(a)?

średnio zarobił 4000

zł

średnio zarobiła 2500 zł

Średnio czyli jak?

Ile wynosi średnia stawka za godzinę?zarobki

2000A

osoba

40

liczba godzin pracy

3000B 40

6000A 160

2000B 10

50

stawka [zł/h]

75

37,5

200

Średnio czyli jak?

Ile wynosi średnia stawka za godzinę?

średnia arytmetyczna:

zarobki

2000A

osoba

40

liczba godzin pracy

3000B 40

6000A 160

2000B 10

50

stawka [zł/h]

75

37,5

200

stawkaA=43,75

stawkaB=137,5 ?

Średnio czyli jak?

Ile wynosi średnia stawka za godzinę?

średnia arytmetyczna:

średnia ważona:

zarobki

2000A

osoba

40

liczba godzin pracy

3000B 40

6000A 160

2000B 10

50

stawka [zł/h]

75

37,5

200

Średnio czyli jak?

Człowiek A: 6000 zł 2000 zł

Istota B: 3000 zł 2000 zł

Tylko co robić z pozostałym czasem? :)

średnio zarobił 4000

zł

średnia stawka: 40 zł

średnio zarobił 2500

zł

średnia stawka: 100

zł

Mierniki pozycyjne

Mediana — element środkowy:

1, 2, 4, 5, 6, 7, 10, 20, 100 M=6średnia=17,22

Mierniki pozycyjne

Mediana — element środkowy:

1, 2, 4, 5, 6, 7, 10, 20, 100 M=61, 2, 4, 5, 6, 7, 10, 20

M=5,5

średnia=17,22średnia=6,88

Mierniki pozycyjne

Mediana — element środkowy:

Kwartyl Q1:

1, 2, 4, 5, 6, 7, 10, 20, 100 M=61, 2, 4, 5, 6, 7, 10, 20

M=5,5

1, 2, 4, 5, 6, 7, 10, 20, 100 Q1=4

1, 2, 4, 5, 6, 7, 10, 20 Q1=3

Mierniki pozycyjne

Mediana — element środkowy:

Kwartyl Q1:

Kwartyl Q3:

1, 2, 4, 5, 6, 7, 10, 20, 100 M=61, 2, 4, 5, 6, 7, 10, 20

M=5,5

1, 2, 4, 5, 6, 7, 10, 20, 100 Q1=4

1, 2, 4, 5, 6, 7, 10, 20 Q1=3

1, 2, 4, 5, 6, 7, 10, 20, 100 Q3=10

1, 2, 4, 5, 6, 7, 10, 20 Q3=8,5

Mierniki pozycyjne

Mediana — element środkowy:

Kwartyl Q1:

Kwartyl Q3:

rozstęp kwartylowy IQR: Q3–Q1

1, 2, 4, 5, 6, 7, 10, 20, 100 M=61, 2, 4, 5, 6, 7, 10, 20

M=5,5

1, 2, 4, 5, 6, 7, 10, 20, 100 Q1=4

1, 2, 4, 5, 6, 7, 10, 20 Q1=3

1, 2, 4, 5, 6, 7, 10, 20, 100 Q3=10

1, 2, 4, 5, 6, 7, 10, 20 Q3=8,5

IQR=6

IQR=5,5

Wszyscy nie są tacy sami, czyli o odchyleniach

Odchylenie standardowe:

Wszyscy nie są tacy sami, czyli o odchyleniach

Odchylenie standardowe:

Odchylenie przeciętne:

wstępna obróbka danych (?):

Po co proste mierniki?

w1w2w3w4

yfx1=120000

x2=0.3x3=7

1

wstępna obróbka danych: standaryzacja („wybielanie”):

Po co proste mierniki?

w1w2w3w4

yfx1=120000

x2=0.3x3=7

1

wstępna obróbka danych: standaryzacja („wybielanie”):

analiza składowych głównych

Po co proste mierniki?

w1w2w3w4

yfx1=120000

x2=0.3x3=7

1

Analiza składowych głównych (ilustracja)

Atrybut B

Atrybut A

Atrybut B

Atrybut A?

klasa 2klasa 1

Analiza składowych głównych (ilustracja)

Atrybut B

Atrybut A

?

klasa 2

klasa 1

Analiza składowych głównych (ilustracja)

Analiza składowych głównych (ilustracja)

Atrybut B

Atrybut A

Atrybu

t1

klasa 1

Atrybu

t2

klasa 2

Totolotek...

Kto gra?

Kto podpuszcza?

Kto w co wierzy w kategorii „gier”?

Histogram... optymisty

wszystkie możliwe wartości

liczb

a w

ystą

pie

ń w

zb

iorz

e

Histogram... umiarkowanego optymisty

Co można wykryć przy użyciu histogramu?

zbiór: Pima Indians Diabetes Database

Wykresy pudełkowe

klasa 1 klasa 2

atrybut X

Wykresy pudełkowe

klasa 1 klasa 2

atrybut X

mediana

Q1

Q3

wąs, max. dł.: 1,5IQR

jak zwykle, zamiast zakończenia...

filozoficznie:

fragment okładki i książki pt. „Paddington daje sobie radę”

(autor: Michael Bond)

— Wie pani — powiedział do pani Bird, gdy przyszła do jadalni, by sprawdzić, czy już zjadł grzankę z marmoladą — nigdy dotąd nie zrobiłem wszystkiego, bo gdybym zrobił, to nie czekałyby mnie już żadne niespodzianki.