Наша цель – собрать комьюнити людей, которые занимаются вопросами, связанными с доставкой, хранением и подготовкой данных. Сейчас много хайпа строится вокруг AI и ML, data science. Но постоянно опускается тот факт, что прежде, чем строить любую аналитику и ML-модели, нужно сначала собрать данные, предобработать их, построить на них хранилище и обеспечить пайплайнами поставки данных. Это то, чем занимаемся мы – дата инженеры. Мы считаем, что роль дата инженеров сильно недооценена, а профильных конференций и сообществ очень мало. Мы хотим исправить это положение вещей. Приходите на наш митап, будем разбираться в вопросах управления данными вместе!

Формат митапа

45 минут доклад + 15 минут на вопросы и обсуждение.

Между докладами перерыв 15 минут.

Митап будет проходить онлайн с трансляцией на youtube. Вопросы можно задавать в телеграм канале сообщества deordie_chat. 

18:00-19:00. Обзор Lambda- и Kappa-архитектур

Егор Матешук, CDO Qvant

- Принципы построения.
- Сильные и слабые стороны каждой из них.
- Примеры реализации.

Компания Qvant — совместное предприятие Газпром‑Медиа Холдинга и МаксимаТелеком в сфере AdTech, больших данных и digital‑рекламы. 
https://qvant.ru

19:00-19:15. Перерыв

19:15-20:15. Как устроена платформа управления данными в Яндекс.Маркет?

Денис Хуртин, руководитель разработки DMP Яндекс.Маркет

Группа компаний Яндекс.Маркет — экосистема, которая состоит из сервиса для выбора товаров Яндекс.Маркет, маркетплейса Беру со своей сетью постаматов и различных экспериментов (агрегатора служб доставки Яндекс.Доставка и сервиса для бизнеса Яндекс.Маркет Аналитика). При активном развитии требуются надежные инструменты, позволяющие анализировать, насколько эффективно сервисы решают задачи своих пользователей, а также повышающие эту эффективность с помощью моделирования, ML и др. Сбором и подготовкой данных для этих инструментов занимается Служба разработки платформы управления данными Маркета.
В своем докладе я расскажу, с какими проблемами мы сталкивались при создании своей платформы управления данными (DMP), какую архитектуру мы выбрали и куда планируем развиваться.