Цель сообщества DE or DIE – собрать комьюнити людей, которые занимаются вопросами, связанными с доставкой, хранением и подготовкой данных. На общей волне хайпа вокруг AI и ML опускается роль дата инженеров, а профильных конференций и сообществ очень мало. Мы хотим исправить это положение вещей. Приходите на наш митап, будем разбираться в вопросах управления данными вместе!

Формат митапа

Два доклада по 45 минут + 15 минут на вопросы и обсуждения.

Митап будет проходить онлайн с трансляцией на YouTube. Вопросы можно задавать в телеграм канале сообщества deordie_chat. 

Ссылку на трансляцию пришлем за час до начала мероприятия на вашу почту и в чат в телеграм.

18:00-19:00. Delta Lake — table format for large scale storage and analytics

Иван Трусов, Solutions Architect, Databricks

Delta Lake — эффективный OSS формат для построения надежных и управляемых data lakes поверх облачных хранилищ. 
В рамках этого доклада рассмотрим практические области применения, трехслойную архитектуру раскладки данных (bronze-silver-gold), а так же различные особенности Delta-формата, упрощающие ETL процесы.

19:00-19:15. Перерыв

19:15-20:15. Kotlin for Apache Spark: WHY?

Паша Финкельштейн, Developer Advocate for Big Data, JetBrains

Спарк поддерживается множеством языков, одних только официально поддерживаемых языков 4.

Так какого же рожна Паша написал поддержку ещё одного JVM языка и чего это ему стоило?
Как устроены кишки и на какие компромиссы пришлось пойти? Попробуем узнать ответ на этот вопрос вместе.