Цель сообщества DE or DIE – собрать комьюнити людей, которые занимаются вопросами, связанными с доставкой, хранением и подготовкой данных. На общей волне хайпа вокруг AI и ML опускается роль дата инженеров, а профильных конференций и сообществ очень мало. Мы хотим исправить это положение вещей. Приходите на наш митап, будем разбираться в вопросах управления данными вместе!

Формат митапа

Два доклада по 45 минут + 15 минут на вопросы и обсуждения.

Митап будет проходить онлайн с трансляцией на YouTube. Вопросы можно задавать в телеграм канале сообщества deordie_chat. 

18:00-19:00. Handling late data. How to make the right choice?

Дарья Буланова, Data Engineer, Dodo Engineering

Сначала мы постараемся ответить на вопросы: а какие данные можно называть late? Все ли out-of-order считаются late? Какие есть способы обработки таких данных? Потом разберемся с тем, как различные паттерны обработки данных решают эту проблему.

Во второй части, посмотрим, на то, как с помощью различных движков добиться различных гарантий completeness. И в конце, на что опираться, когда вы принимаете решения, какой паттерн обработки данных выбрать.

19:00-19:15. Перерыв

19:15-20:15. Ingestion and historization in the Data Lake?

Илья Тодор, Data Engineer @HRS Group | Certified AWS Cloud Practitioner

Как мигрировать данные из одного источника в Data Lake, а затем в Data Warehouse с применением процесса хисторизации (SCD Type 2) на инфраструктурe AWS.

Вместе с Ильей мы посмотрим на живой кейс: на какие грабли можно наступить и каких успехов добиться в этом нелегком деле.

20:15-20:45. After Show

Команда DE or DIE + спикеры.

В завершении вечера в формате круглого стола поговорим на свободные темы.