[#] Используем Apache Spark как SQL Engine
habrabot(difrex,1) — All
2016-01-21 17:30:09


![][1] Привет, Хабр! Мы, [Wrike][2], ежедневно сталкиваемся с потоком данных от сотен тысяч пользователей. Все эти сведения необходимо сохранять, обрабатывать и извлекать из них ценность. Справиться с этим колоссальным объёмом данных нам помогает [Apache Spark][3]. Мы не будем делать введение в Spark или описывать его положительные и отрицательные стороны. Об этом вы можете почитать [здесь][4], [здесь][5] или в [официальной документации][6]. В данной статье мы делаем упор на библиотеку [Spark SQL][7] и её практическое применение для анализа больших данных. [Читать дальше →][8]

[1]: https://habrastorage.org/files/6b9/92a/816/6b992a816c524f9c945a0296451bb434.png
[2]: https://www.wrike.com/ru
[3]: http://spark.apache.org
[4]: http://habrahabr.ru/company/mlclass/blog/250811/
[5]: http://habrahabr.ru/post/263491/
[6]: http://spark.apache.org/docs/latest/quick-start.html
[7]: http://spark.apache.org/docs/latest/sql-programming-guide.html
[8]: https://habrahabr.ru/post/275567/#habracut