Metody Deep LearningWykład 2

http://arxiv.org/pdf/1502.01852.pdf

Przypomnienie

Artificial neuron c.d

● Neuron pre-activation

● Neuron activation

● - wagi● - bias● - funkcja aktywacji (activation function)

Funkcje aktywacji

Binarna klasyfikacja

Klasyfikacja

Klasyfikacja

Multi-layered neural networks

Zaczynamy

Mathematical Optimization

● wiki: “[...] finding "best available" values of some objective function given [...] a set of constraints [...]”

Gradient Descent

Gradient Descent

Gradient Descent

● gwarancja zbieżności do minimum lokalnego● łatwe do implementacji● działa dobrze w praktyce

Gradient Descent

NN objective (cost) function

Błąd średnio kwadratowy (mean square error)

Entropia krzyżowa (cross entropy)

Wyprowadzenie

Powtórka z analizy:

Wyprowadzenie

Powtórka z analizy:

Feedforward

Backpropagation

Warianty gradient descent

Homework