Для своих ETL (Extract, Transform, Loading) процессов, на этапах E и T, то есть извлечение и преобразование данных мы используем [Apache Storm][1], и, так как большинство ошибок, связанных с инвалидацией сырых данных, происходит именно на этом этапе, — появилось желание централизованно логировать всё это, используя [ELK стэк][2] (Elasticsearch, Logstash, Kibana).

Каким же было моё удивление, что нигде не то, что на русском языке, но даже в оригинальных туториалах не было описана работа с логами в формате log4j2, который является дефолтом в мире Java-приложений.

Исправляя это упущение — под катом туториал по настройке централизованного сбора любых log4j2 логов на основе:

* ELK внутри Docker
* Настройка log4j для работы с Logstash
* Настройка Logstash для правильной индексации логов
* Немного бонусов, в виде краткой настройки Storm и интеграции Elasticsearch с Grafana
![image][3]
[Читать дальше →][4]

[1]: http://storm.apache.org/
[2]: https://www.elastic.co/products
[3]: https://oliverveits.files.wordpress.com/2016/11/logstash_input_output.png
[4]: https://habrahabr.ru/post/342824/?utm_source=habrahabr&utm_medium=rss&utm_campaign=feed_posts#habracut