Metody Deep LearningWykład 3

Przypomnienie

Gradient Descent

Gradient Descent

Warianty Gradient Descent

Backpropagation

Prawdopodobieństwo - przypomnienie

Probabilistic graphical models

- reprezentacja skomplikowanego rozkładu prawdopodobieństwa przy pomocy grafu

- zależności pomiędzy zmiennymi rozkładu reprezentowane jako krawędzie

- skomplikowane obliczenia mogą być wyrażone jako operacje na grafie

Przykład

jakaś historyjka

Bayesian networks

● Directed graphical model

Bayesian networks formally

● - rodzice w grafie węzła ● - Conditional

probability distributions (CPD)

- graf nad zmiennymi

CPD

Conditional Independence

● zależność/niezależność zmiennych w rozkładzie prawd. kluczowa dla zrozumienia jego zachowania

● pomocna dla zredukowania obliczeń przy wnioskowaniu (ang. inference)

Conditional independence c.d

● bezpośrednie połączenie● brak bezpośredniego połączenia

1.

2.

3.

4.

d-separation

● - graf, - ścieżka w .● - zbiór zaobserwowanych zmiennych.Ścieżka jest aktywna pod warunkiem gdy:- pojawia się struktura

i lub jego przodek jest w - żaden z innych węzłów na ścieżce

nie jest w

d-separation c.d

● - zbiory węzłów w są d-separowalne pod warunkiem jeżeli nie ma żadnej aktywnej ścieżki pomiędzy i pod warunkiem

Markov random fields

● w pewnych sytuacjach ciężko określić relację skutek-przyczyna pomiędzy zdarzeniami

● krawędzie między zmiennymi są nieskierowane

● ang. undirected graphical models

MRF joint probability

● do podzbioru węzłów w grafie przypisujemy tzw. potencjał

- partition function