Metody Deep Learning - Wykład 2
23
Metody Deep Learning Wykład 2 http://arxiv.org/pdf/ 1502.01852.pdf
-
Upload
craftinity -
Category
Data & Analytics
-
view
70 -
download
2
Transcript of Metody Deep Learning - Wykład 2
Metody Deep LearningWykład 2
http://arxiv.org/pdf/1502.01852.pdf
Przypomnienie
Artificial neuron c.d
● Neuron pre-activation
● Neuron activation
● - wagi● - bias● - funkcja aktywacji (activation function)
Funkcje aktywacji
Binarna klasyfikacja
Klasyfikacja
Klasyfikacja
Multi-layered neural networks
Zaczynamy
Mathematical Optimization
● wiki: “[...] finding "best available" values of some objective function given [...] a set of constraints [...]”
Gradient Descent
Gradient Descent
Gradient Descent
● gwarancja zbieżności do minimum lokalnego● łatwe do implementacji● działa dobrze w praktyce
Gradient Descent
NN objective (cost) function
Błąd średnio kwadratowy (mean square error)
Entropia krzyżowa (cross entropy)
Wyprowadzenie
Powtórka z analizy:
Wyprowadzenie
Powtórka z analizy:
Feedforward
Backpropagation
Warianty gradient descent
Homework
