[#] Асинхронная загрузка больших датасетов в Tensorflow
habrabot(difrex,1) — All
2017-12-26 06:30:04


Глубокие нейронные сети сейчас модная тема.



В Сети много тюториалов и видеолекций, и других материалов обсуждающих
основные принципы, архитектуру, стратегии обучения и т.д. Традиционно, обучение нейронных сетей производится путем предявления нейронной сети пакетов
изображений из обучающей выборки и коррекции коэффициентов этой сети
[методом обратного распространения ошибки][1]. Одним из
наиболее популярных инструментов для работы с нейронными сетями является
библиотека [Tensorflow][2] от Google.



Нейронная сеть в Tensorflow представляется последовательностю операций-слоев
(таких как перемножение матриц, [свертка][3], пулинг и т.д.). Слои нейронной сети совместно
с операциями корректировки коэффициентов образуют граф вычислений.



Процесс обучения нейронной сети при этом заключается в "предъявлении" нейронной
сети пакетов объектов, сравненнии предсказанных классов с истинными, вычисления
ошибки и модификации коэффицентов нейронной сети.
При этом Tensoflow скрывает технические подробности обучения и реализацию алгоритма корректировки
коэффицентов, и с точки зрения программиста можно говорить в основном только о графе вычислений,
производящем "передсказания".
Сравните граф выченслений о котором думает программист



![Predicticting graph][4]



с графом который в том числе выполняет подстройку коэффициенотов



![Training graph][5].



Но что Tensorflow не может сделать за программиста, так это преобразовать входной
датасет в датасет удобный для треннировки нейронной сети. Хотя библиотека имеет
представленно довольно много "базовых блоков".
Как с их использованием построить эффективный конвеер для "питания"
(англ _feed_) нейронной сети входными данными я и хочу расскажу в этой статье.

[Читать дальше →][6]

[1]: https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BE%D0%B1%D1%80%D0%B0%D1%82%D0%BD%D0%BE%D0%B3%D0%BE_%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%BE%D1%81%D1%82%D1%80%D0%B0%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F_%D0%BE%D1%88%D0%B8%D0%B1%D0%BA%D0%B8
[2]: https://www.tensorflow.org/
[3]: https://ru.wikipedia.org/wiki/%D0%A1%D0%B2%D1%91%D1%80%D1%82%D0%BE%D1%87%D0%BD%D0%B0%D1%8F_%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D1%81%D0%B5%D1%82%D1%8C
[4]: https://habrastorage.org/webt/4d/ui/dt/4duidtqhdydft4ys2ahttbj9ysm.png
[5]: https://habrastorage.org/webt/lj/af/3c/ljaf3cwewgd3tzbezgev4izejto.png
[6]: https://habrahabr.ru/post/345546/?utm_source=habrahabr&utm_medium=rss&utm_campaign=345546#habracut