Lead/Senior Data engineer на построение Data/Delta Lake + DWH

Компания ESN создает социальные продукты нового поколения на стыке технологий и медиа. У нас нет легаси и «велосипедов», мы разрабатываем продукты, используя современные технологии. 

Наш аудио продукт - приложение для быстрого и простого создания музыки на смартфоне. Выбираешь готовый бит из библиотеки, генеришь текст нейросетью, поешь, применяешь эффект для улучшения голоса, выбираешь видео маску и делишься в ленте.

Наш видео продукт - социальная платформа, в которой каждый ролик в ленте может стать источником целой цепочки креативов, шуток, мемов, созданных тобой и твоими друзьями с помощью простых и инновационных инструментов для творчества.

Сейчас мы в поиске Lead/Senior Data engineer на построение Data/Delta Lake + DWH
 

Задачи

- Реализация ETL для подготовки данных для аналитики/ ML моделей

- Автоматизация выгрузки данных из источников и контроль качества

- Определение архитектуры данных в части хранения и обработки

- Определение различных “слоев” данных и формирование ETL между ними

- Построение инкрементальных архитектур обработки данных

- Мониторинг всех этапов работы с данными

- Определение аномалий в данных

- Транслировать свое экспертное видение на команду и определять дальнейший вектор развития данных

Есть возможность вырасти в полноценного Lead-а со своей командой - по мере роста объемов данных

Требования

- Знание классических алгоритмов и структур данных.

- Понимание микросервисных архитектур, опыт построения real-time пайплайнов данных

- Понимание принципов работы баз данных и очередей.

- Самостоятельность и умение комплексно решать задачи.

- Уверенное владение Python

- Понимание DevOps принципов

- Опыт работы с Airflow, Clickhouse, Kafka, Cassandra (будет плюсом), S3, Spark

- Git + Jira

Будет плюсом

- Опыт работы с высоконагруженными системами

- Понимание масшатабируемости и отказоустойчивости систем

- Опыт разработки на Java

- Опыт построения микросервисных архитектур по работе с данными

- Понимание концепции Delta Lake

- Опыт использования парадигмы DataOps

Что мы можем предложить:

- Оформление по удобному вам формату – ТК РФ, самозанятость, ИП – в рф или зарубежом.

- Конкурентная заработная плата, индивидуально обсуждается с кандидатом.

- Возможность удаленной работы.

- ДМС после испытательного срока.

- Проведение неформальных мероприятий - праздники, корпоративы.

- Возможность карьерного и функционального роста.