Hidden
Lead/Senior Data engineer на построение Data/Delta Lake + DWH

Created:
Moscow
RUB 300,000399,999/month
Remote or office
Full-time

Data engineer; Data lake; Delta lake; DWH

Moderation Review

In the archive

Brief description of the vacancy

Компания ESN создает социальные продукты нового поколения на стыке технологий и медиа. У нас нет легаси и «велосипедов», мы разрабатываем продукты, используя современные технологии. 

Наш аудио продукт - приложение для быстрого и простого создания музыки на смартфоне. Выбираешь готовый бит из библиотеки, генеришь текст нейросетью, поешь, применяешь эффект для улучшения голоса, выбираешь видео маску и делишься в ленте.

Наш видео продукт - социальная платформа, в которой каждый ролик в ленте может стать источником целой цепочки креативов, шуток, мемов, созданных тобой и твоими друзьями с помощью простых и инновационных инструментов для творчества.

Сейчас мы в поиске Lead/Senior Data engineer на построение Data/Delta Lake + DWH
 

Задачи

- Реализация ETL для подготовки данных для аналитики/ ML моделей

- Автоматизация выгрузки данных из источников и контроль качества

- Определение архитектуры данных в части хранения и обработки

- Определение различных “слоев” данных и формирование ETL между ними

- Построение инкрементальных архитектур обработки данных

- Мониторинг всех этапов работы с данными

- Определение аномалий в данных

- Транслировать свое экспертное видение на команду и определять дальнейший вектор развития данных

Есть возможность вырасти в полноценного Lead-а со своей командой - по мере роста объемов данных

 

Требования

- Знание классических алгоритмов и структур данных.

- Понимание микросервисных архитектур, опыт построения real-time пайплайнов данных

- Понимание принципов работы баз данных и очередей.

- Самостоятельность и умение комплексно решать задачи.

- Уверенное владение Python

- Понимание DevOps принципов

- Опыт работы с Airflow, Clickhouse, Kafka, Cassandra (будет плюсом), S3, Spark

- Git + Jira

 

Будет плюсом

- Опыт работы с высоконагруженными системами

- Понимание масшатабируемости и отказоустойчивости систем

- Опыт разработки на Java

- Опыт построения микросервисных архитектур по работе с данными

- Понимание концепции Delta Lake

- Опыт использования парадигмы DataOps

 

Что мы можем предложить:

- Оформление по удобному вам формату – ТК РФ, самозанятость, ИП – в рф или зарубежом.

- Конкурентная заработная плата, индивидуально обсуждается с кандидатом.

- Возможность удаленной работы.

- ДМС после испытательного срока.

- Проведение неформальных мероприятий - праздники, корпоративы.

- Возможность карьерного и функционального роста.
 

Contacts

Posted:

Our website uses cookies, including web analytics services. By using the website, you consent to the processing of personal data using cookies. You can find out more about the processing of personal data in the Privacy policy