DE or DIE – митап, сделанный дата инженерами для дата инженеров.

ИТ и интернет

Наша цель – собрать комьюнити людей, которые занимаются вопросами, связанными с доставкой, хранением и подготовкой данных. Сейчас много хайпа строится вокруг AI и ML, data science. Но постоянно опускается тот факт, что прежде, чем строить любую аналитику и ML-модели, нужно сначала собрать данные, предобработать их, построить на них хранилище и обеспечить пайплайнами поставки данных. Это то, чем занимаемся мы – дата инженеры. Мы считаем, что роль дата инженеров сильно недооценена, а профильных конференций и сообществ очень мало. Мы хотим исправить это положение вещей. Приходите на наш митап, будем разбираться в вопросах управления данными вместе!

Формат митапа

Ссылка на трансляцию: 

1.5 часа и две сессии на вопросы и ответы. Ссылка на трансляцию будет доступна за час до митапа.

Митап будет проходить в онлайне с трансляцией на YouTube. Вопросы можно задавать в телеграм-канале сообщества deordie_chat. Ну и непосредственно во время самой трансляции на YouTube.

19:00-21:00 (MSK).  Разбор реального проекта: E2E пайплайн для прогнозирования закупок ингредиентов в пиццериях c помощью Spark Streaming

Ксения Томак, Дарья Буланова, Михаил Кумачев, Data Engineering Team, Dodo Pizza

Иван Трусов, Solutions Architect, Databricks

Dodo Pizza совместно с Databricks сделали проект по решению задачи прогнозирования закупок ингредиентов в пиццериях. В рамках проекта был разработан набор near real-time и batch пайплайнов для сбора данных из источника, загрузки их в Delta Lake и подготовки витрин для использования в машинном обучении.

В рамках нашего выступления мы подробно разберем каждый из этапов и уделим особое внимание подводным камням при реализации проекта.

Часть 1:

  • Описание проекта и базовой инфраструктуры

  • Архитектура решения

  • Change Data Capture из MySQL в EventHubs, используя Kafka Connect и Debezium

Часть 2:

  • Data modeling с помощью DataVault 2.0. Переливка данных с помощью Spark Streaming

  • Наполнение витрин данных

  • Интеграция с ML-пайплайнами

  • CI/CD для пайплайнов данных

Стек используемых технологий:

  • Cloud provider: Azure

  • Data Source: Azure MySQL DB

  • CDC pipeline: Kafka Connect + Debezium + Azure Event Hubs

  • Processing: Spark + Spark Streaming on Databricks

  • Storage layer: Delta Lake + Azure Data Lake Storage

  • CI/CD: GitHub Actions + Databricks REST API

  • Implementation language: Python

Ссылка на трансляцию будет доступна за час до митапа.

Поделиться:

229 дней назад
16 июля 2020 19:00–21:00

Событие пройдет онлайн

Уже есть билет
Получить ссылку

Рекомендуемые события

Есть вопросы?

Напишите нам, и мы обязательно вам ответим. Много интересного уже есть в нашей базе знаний.

Участник Организатор

Связь с организатором

На этот адрес придёт ответ от организатора.

Подпишитесь на рассылку организатора

Возврат билета

Если вы хотите вернуть билеты, вы можете сделать это по ссылке из письма с билетами или оформить запрос организатору в вашем  личном кабинете.

Подробнее о возврате билетов

Войдите через соцсети

или с помощью email

Забыли пароль?

Зарегистрируйтесь через соцсети

или с помощью email

Создайте организацию

чтобы получить возможность бесплатно создавать события и управлять ими.

Зарегистрируйтесь через соцсети

или с помощью email

Название увидят участники ваших событий на страницах регистрации, билетах и письмах

.timepad.ru

По этому адресу будет доступен ваш личный кабинет и страница событий для участников

Должен быть указан контактный телефон

Этот телефон будет указан в контактах организации, на страницах событий и в билетах. Удалить его нельзя, но изменить — можно. Без подтвержденного телефона нельзя создавать события.

Как вы планируете использовать Timepad?

Создайте организацию

чтобы получить возможность бесплатно создавать события и управлять ими.

Название увидят участники ваших событий на страницах регистрации, билетах и письмах

.timepad.ru

По этому адресу будет доступен ваш личный кабинет и страница событий для участников

Должен быть указан контактный телефон

Этот телефон будет указан в контактах организации, на страницах событий и в билетах. Удалить его нельзя, но изменить — можно. Без подтвержденного телефона нельзя создавать события.

Как вы планируете использовать Timepad?

Укажите ваш email

Подтвердите ваш email

Сообщение с проверочным кодом было отправлено на указанный email

Отправить еще раз