Data Engineer

Мы - платформенная команда в направлении Trust & Safety. Наша главная задача - контроль, хранение и обработка очень большого объема данных(datalake)

Отвечаем за обеспечение инфраструктуры и предоставление платформенных решений для всего направления T&S (общие шины данных, контроль соблюдения контрактов, PaaS - Platform as a Service, etc), а также мы отвечаем за внедрение best practices на уровне всего департамента.

Wildberries - это 30 млн пользователей ежедневно и технологические задачи, у которых нет аналогов. Наша компания стабильно развивается и работает в усиленном режиме: использует современный стек и новейшие технологии, разрабатывает множество новых hi-tech продуктов

Обязанности Создавать и улучшать инфраструктуру для обработки данных

Участвовать в разработке архитектуры хранения big-data

Разрабатывать систему для работы с данными: хранилища, инструменты и сервисы

Настраивать загрузку данных и их движение между инструментами

Обновлять используемые инструменты и искать способы улучшения и автоматизации существующих процессов

Выстраивать процессы работы с данными, строить новые витрины, участвовать в формировании структуры хранения данных

Clickhouse/Redis/Postgres;

AirFlow, AirByte, ByteBase, Flink, Spark;

Redash, Superset, Jupyter;

Ceph, S3;

Kafka/RedPanda.

Условия работы Возможность гибкого начала рабочего дня, удаленный формат работы Оформление по ТК РФ в аккредитованную IT компанию с первого дня (также предоставляем другие виды оформления - ИП, ГПХ); Современный стек, нет бюрократии и тайм-трекеров; И другие «плюшки»: Партнерские программы по обучению и фитнесу, корпоративное питание для сотрудников в офисе