[#] Automatic Relevance Determination или машинное обучение когда данных очень мало
habrabot(difrex,1) — All
2016-10-26 13:00:04


Когда речь заходит про машинное обучение, обычно подразумевают большие объемы данных — миллионы или даже миллиарды транзакций, из которых надо сделать сложный вывод о поведении, интересах или текущем cостоянии пользователя, покупателя или какого-нибудь аппарата (робота, автомобиля, дрона или станка).
Однако в жизни обычного аналитика самой обычной компании много данных встречается нечасто. Скорее даже наоборот — у вас будет мало или очень мало данных — буквально десятки или сотни записей. Но анализ все же нужно провести. Причем не какой попало анализ, а качественный и достоверный.



Зачастую ситуация усугубляется еще и тем, что вы без труда можете нагенерить для каждой записи много признаков (чаще всего добавляют полиномы, разницу с предыдущим значением и значением за прошлый год, one-hot-encoding для категориальных признаков и т.п.). Вот только совсем нелегко разобраться, какие из них действительно полезны, а какие только усложняют модель и увеличивают ошибки вашего прозноза.



Для этого вы можете воспользоваться методами байесовой статистики, например, **Automatic Relevance Determination**.

[Читать дальше →][1]

[1]: https://habrahabr.ru/post/313566/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut