[#] Kaggle – наша экскурсия в царство оверфита
habrabot(difrex,1) — All
2016-08-08 00:00:03


Kaggle — это платформа для проведения конкурсов по машинному обучению. На Хабре частенько пишут про неё: [1][1], [2][2], [3][3], [4][4], и.т.д.
Конкурсы на Kaggle интересные и практичные. Первые места обычно сопровождаются неплохими призовыми (топовые конкурсы — более 100к долларов). В последнее время на Kaggle предлагали распознавать:
* [Диабет по сетчатке глаза][5]
* [ Фотографии со спутников и их порядок ][6]
* [Одинаковые рекламные объявления][7]
И многое-многое другое.
Мне давно хотелось попробовать, но что-то всё время мешало. Я разрабатывал много систем, связанных с обработкой изображений: тематика близка. Навыки более лежат в практической части и классических Computer Vision (CV) алгоритмах, чем в современных Machine Learning техниках, так что было интересно оценить свои знания на мировом уровне плюс подтянуть понимание свёрточных сетей.
И вот внезапно всё сложилось. Выпало пару недель не очень напряжённого графика. На kaggle проходил интересный конкурс по близкой тематике.Я обновил себе комп. А самое главное — подбил [vasyutka][8] и [Nikkolo][9] на то, чтобы составить компанию.
Сразу скажу, что феерических результатов мы не достигли. Но 18 место из 1.5 тысяч участников я считаю неплохим. А учитывая, что это наш первый опыт участия в kaggle, что из 3х месяц конкурса мы участвовали лишь 2.5 недели, что все результаты получены на одной единственной видеокарте — мне кажется, что мы хорошо выступили.
О чём будет эта статья? Во-первых, про саму задачу и наш метод её решения. Во-вторых, про процесс решения CV задач. Я писал достаточно много статей на хабре о машинном зрении([1][10],[2][11],[3][12]), но писанину и теорию всегда лучше подкреплять примером. А писать статьи по какой-то коммерческой задаче по очевидным причинам нельзя. Теперь наконец расскажу про процесс. Тем более что тут он самый обычный, хорошо иллюстрирующий как задачи решаются. В-третьих, статья про то, что идёт после решения идеализированной задаче в вакууме: что будет когда задача столкнётся с реальностью.
![][13]
[Читать дальше →][14]

[1]: https://habrahabr.ru/post/305026/
[2]: https://habrahabr.ru/post/254151/
[3]: https://habrahabr.ru/post/264653/
[4]: https://habrahabr.ru/post/248395/
[5]: https://www.kaggle.com/c/diabetic-retinopathy-detection
[6]: https://www.kaggle.com/c/draper-satellite-image-chronology
[7]: https://www.kaggle.com/c/avito-duplicate-ads-detection
[8]: https://habrahabr.ru/users/vasyutka/
[9]: https://habrahabr.ru/users/nikkolo/
[10]: https://habrahabr.ru/post/274725/
[11]: https://habrahabr.ru/post/208090/
[12]: https://habrahabr.ru/post/224339/
[13]: https://habrastorage.org/files/220/060/3a2/2200603a2cb5438798dec072ee0c500c.jpg
[14]: https://habrahabr.ru/post/307078/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut