В подавляющем большинстве источников информации о нейронных сетях под «а теперь давайте обучим нашу сеть» понимается «скормим целевую функцию оптимизатору» лишь с минимальной настройкой скорости обучения. Иногда говорится, что обновлять веса сети можно не только стохастическим градиентным спуском, но безо всякого объяснения, чем же примечательны другие алгоритмы и что означают загадочные ![\inline \beta][1] и ![\inline \gamma][2] в их параметрах. Даже преподаватели на курсах машинного обучения зачастую не заостряют на этом внимание. Я бы хотел исправить недостаток информации в рунете о различных оптимизаторах, которые могут встретиться вам в современных [пакетах машинного обучения][3]. Надеюсь, моя статья будет полезна людям, которые хотят углубить своё понимание машинного обучения или даже изобрести что-то своё.



![image][4]



Под катом много картинок, в том числе анимированных gif.

[Читать дальше →][5]

[1]: https://tex.s2cms.ru/svg/%5Cinline%20%5Cbeta
[2]: https://tex.s2cms.ru/svg/%5Cinline%20%5Cgamma
[3]: http://lasagne.readthedocs.io/en/latest/modules/updates.html
[4]: https://habrastorage.org/files/93c/2ee/e3f/93c2eee3fad440a8b8204befec4b06bf.jpg
[5]: https://habrahabr.ru/post/318970/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut