Фонд Apache опубликовал релиз Apache Spark 1.0, высокопроизводительного движка для обработки данных, хранящихся в кластере Hadoop. По сравнению с предоставляемым в Hadoop механизмом MapReduce, Spark обеспечивает в 100 раз более высокую производительность при обработке данных в памяти и 10 раз при размещении данных на дисках. Решения на базе Spark уже внедрены в таких компаниях, как Alibaba, Cloudera, Databricks, IBM, Intel и Yahoo.
Ссылка: http://www.opennet.ru/opennews/art.shtml?num=39896