![][1]



Привет, Хабр! Меня зовут Дина, и я занимаюсь разработкой игрового хранилища данных для решения задач аналитики в Mail.Ru Group. Наша команда для разработки batch-процессов обработки данных использует Apache Airflow (далее Airflow), об этом [yuryemeliyanov][2] писал в недавней [статье][3]. Airflow — это opensource-библиотека для разработки ETL/ELT-процессов. Отдельные задачи объединяются в периодически выполняемые цепочки задач — даги (DAG — Directed Acyclic Graph).



Как правило, 80 % проекта на Airflow — это стандартные DAG’и. В моей статье речь пойдёт об оставшихся 20 %, которые требуют сложных ветвлений, коммуникации между задачами — словом, о DAG’ах, нуждающихся в нетривиальных алгоритмах.

[Читать дальше →][4]

[1]: https://habrastorage.org/webt/2i/xc/2g/2ixc2gvhhqkngqgdyplnxmkuq-g.jpeg
[2]: https://habrahabr.ru/users/yuryemeliyanov/
[3]: https://habrahabr.ru/company/mailru/blog/339392
[4]: https://habrahabr.ru/post/344398/?utm_source=habrahabr&utm_medium=rss&utm_campaign=344398#habracut