DE or DIE #7

DE or DIE – митап, сделанный дата инженерами для дата инженеров

ИТ и интернет 16+

Цель сообщества DE or DIE – собрать комьюнити людей, которые занимаются вопросами, связанными с доставкой, хранением и подготовкой данных. На общей волне хайпа вокруг AI и ML опускается роль дата инженеров, а профильных конференций и сообществ очень мало. Мы хотим исправить это положение вещей. Приходите на наш митап, будем разбираться в вопросах управления данными вместе!

Формат митапа

Два доклада по 45 минут + 15 минут на вопросы и обсуждения.

Митап будет проходить онлайн с трансляцией на YouTube. Вопросы можно задавать в телеграм канале сообщества deordie_chat

18:00-19:00. Handling late data. How to make the right choice?

Дарья Буланова, Data Engineer, Dodo Engineering


 

Сначала мы постараемся ответить на вопросы: а какие данные можно называть late? Все ли out-of-order считаются late? Какие есть способы обработки таких данных? Потом разберемся с тем, как различные паттерны обработки данных решают эту проблему.

Во второй части, посмотрим, на то, как с помощью различных движков добиться различных гарантий completeness. И в конце, на что опираться, когда вы принимаете решения, какой паттерн обработки данных выбрать.

19:00-19:15. Перерыв

19:15-20:15. Ingestion and historization in the Data Lake?

Илья Тодор, Data Engineer @HRS Group | Certified AWS Cloud Practitioner


 

Как мигрировать данные из одного источника в Data Lake, а затем в Data Warehouse с применением процесса хисторизации (SCD Type 2) на инфраструктурe AWS.

Вместе с Ильей мы посмотрим на живой кейс: на какие грабли можно наступить и каких успехов добиться в этом нелегком деле.

20:15-20:45. After Show

Команда DE or DIE + спикеры.

В завершении вечера в формате круглого стола поговорим на свободные темы.

Поделиться:

1133 дня назад
16 июня 2021 18:00–20:45

Событие пройдет онлайн

Уже есть билет
Получить ссылку

Поделиться:

Связь с организатором

На этот адрес придёт ответ от организатора.

Подпишитесь на рассылку организатора

Возврат билета

Если вы хотите вернуть билеты, вы можете сделать это по ссылке из письма с билетами или оформить запрос организатору в вашем  личном кабинете.

Подробнее о возврате билетов