TEORETYCZNE PODSTAWY

INFORMATYKI WFAiS UJ, Informatyka Stosowana

I rok studiów, I stopień

1

15/01/2018

Prof. dr hab. Elżbieta Richter-Wąs

Wykład 13c

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

2

Data Science:

Uczenie

maszynowe

Uczenie maszynowe: co to znaczy?

Metody

Regresja

Klasyfikacja

Klastering i wybor podzbioru

System do rekomendacji

Wykład na podstawie materiałów:

E. Fox & C. Guestrin, Univeristy of Waschington,

„Machine Learning Specialization”

http://www.coursera.org./learn/ml-foundations

Uczenie maszynowe

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

3

Metody uczenia maszynowego (machine learning) rewolucjonizują obecnie podejście do różnych problemów związanych z analizą danych.

Jeszcze kilka lat temu był to bardziej „akademicki” problem z zakresu numeryki i algorytmiki.

Uczenie maszynowe

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

4

Obecnie, bardzo szybko staje się kluczową techniką

dla wielu wiodących firm komercyjnych

Uczenie maszynowe: cel

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

5

Uzyskać odpowiedź dla różnej klasy pytań na

podstawie informacji zawartej w danych, bez

potrzeby budowy „modelu zjawiska”.

ML metod = np. klasyfikacja, regresja liniowa, sieci neuronowe

Uczenie maszynowe: przykład

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

6

Przewidywanie ceny domu na podstawie zebranych

danych dotyczących ceny innych

Uczenie maszynowe: przykład

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

7

Ranking restauracji

Uczenie maszynowe: przykład

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

8

Znajdowanie podobnych dokumentów

Uczenie maszynowe: przykład

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

9

Rekomendowanie podobnego produktu

Uczenie maszynowe: przykład

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

10

Rekomendowanie podobnego produktu na podstawie jego charakterystycznych cech

Uczenie maszynowe: przykład

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

11

Rekomendowanie podobnego produktu: na podstawie jego charakterystyki graficznej

Regresja

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

12

Uczenie maszynowe:

Regresja

Przewidywanie odpowiedzi na

podstawie informacji wejściowej

Cena akcji na giełdzie

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

13

Tweet popularność

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

14

Przykład: przewidywana cena domu

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

15

Data, model

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

16

Data, model

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

17

Jaki model dla f(x)?

Przewidywanie

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

18

A potem chcielibyśmy przewidzieć odpowiedź

Pętla iteracyjna?

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

19

Simple linear regression model

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

20

Co to znaczy „simple”?

1 input x, fitujemy zależność liniową do danych

Simple linear regression model

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

21

Co to znaczy „simple”?

1 input x, fitujemy zależność liniową do danych

Simple linear regression model

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

22

Co to znaczy „simple”?

1 input x, fitujemy zależność liniową do danych

Pętla iteracyjna

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

23

Funkcja „kosztu”

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

24

Minimalizacja funkcji „kosztu”

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

25

Pętla iteracyjna

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

26

Minimalizacja funkcji „kosztu”

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

27

Asymetryczny błąd kosztu

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

28

Polynomial regression

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

29

Multiple regression

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

30

Regresja: przewidywanie na

podstawie danych

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

31

Klasyfikacja

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

32

Uczenie maszynowe:

Klasyfikacja

Inteligentny system rankingu restauracji

Klasyfikacja

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

33

Uczenie maszynowe:

Klasyfikacja

Inteligentny system rankingu restauracji

Prosta klasyfikacja

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

34

Dane trenujące

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

35

Używamy danych trenujących aby przypisać prawdopodobieństwo (wagę) dla każdego słowa

Waga całego zdania (score) to będzie prosta sumą tych wag

Uczenie klasyfikatora

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

36

Jak wygląda nasz model

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

37

Zmiana współczynników

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

38

Jak wygląda nasz model?

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

39

Czy jesteś pewny swojej klasyfikacji

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

40

Interpretacja

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

41

Interpretacja

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

42

Link funkcja

Logistic regression model

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

43

Sigmoid funkcja

Logistic regression model

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

44

Effekt współczynników na kształt funkcji

sigmoidalnej

Jak pewny jesteś swojej klasyfikacji

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

45

Zmienne opisowe

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

46

Nadajemy numeryczne wartości

Klasyfikacja: ranking restauracji

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

47

Klastrowanie i wybór podobnych

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

48

Uczenie maszynowe:

Klasyfikacja i

wyszukiwanie

podobnych obiektów

Poszukiwanie podobnych obiektów

Wyszukaj podobny tekst

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

49

Musimy zdefiniować co to znaczy „podobny”

Wyszukaj podobny tekst

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

50

Musimy zdefiniować co to znaczy „podobny”

Technika może być stosowana do wielu

zagadnień

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

51

„Odkryj” grupę podobnych obiektów

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

52

Pogrupuj wg. tematów dokumenty

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

53

Pogrupuj obrazki

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

54

Przykład: dokument na podobny temat

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

55

Jak mierzymy podobieństwo ?

Jak szukamy podobieństw ?

Najbliższy sąsiad

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

56

Reprezentacja dokumentu

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

57

Dokument = zbiór słów

Nieistotna kolejność występowania

Zliczaj ilość wystąpień i zaznaczaj

Reprezentacja dokumentów : TF-IDF

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

58

Słowa mogą być rzadko występujące, te rzadko

występujące są bardziej charakterystyczne.

Ważymy cechy charakterystyczne

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

59

Niektóre cechy są bardziej ważne niż inne

Niektóre różnice (absolutna wartość) są bardziej istotne niż inne. Liczy się rozmycie całego zbioru dla danej cechy.

Skalowana Euclidesowa miara

odległości

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

60

Naturalna miara odległości

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

61

Cosine miara odległości

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

62

Klastering: poszukiwanie dokumentu

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

63

System rekomendujący

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

64

Uczenie maszynowe:

system

rekomendujący

Personalizacja

Rekomendacja: filmy

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

65

Rekomendacja: producty

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

66

System rekomendujacy: popularność

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

67

Popularność?

Ranking wg. liczba oglądań

Nie ma personalizacji

System rekomendujacy: klasyfikacja

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

68

Klasyfikacja?

Jakie prawdopodobieństwo że kupie ten product.

Personalizacja: patrzy na historie zakupów, koreluje

z pora roku, pora dnia, etc.

System rekomendujacy: korelacje

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

69

Patrzy na korelacje. Osoby które kupiły A kupiły

również B

Utwórzmy macierz korelacji

System rekomendujacy: korelacje

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

70

Patrzy na korelacje. Osoby które kupiły A kupiły również B

Macierz korelacji może należy znormalizować?

A może wprowadzić jakąś miarę „co znaczy podobne”?

Ograniczenie:

Nie patrzy na historię w czasie

Co zrobić z nowym użytkownikiem systemu?

System rekomendujący: filmy

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

71

System rekomendujący: filmy

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

72

System rekomendujący: filmy

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

73

System rekomendujący: sprawność

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

74

System rekomendujący: sprawność

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

75

System rekomendujący: sprawność

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

76

System rekomendujący: sprawność

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

77

System rekomendujący: sprawność

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

78

System rekomendujący: sprawność

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

79

Macierz podobieństw: rekomendacja

produktu

15/01/2018 Prof. dr hab. Elżbieta Richter-Wąs

80