Дата-инженер (Data Engineer)

Мы ищем специалиста для разработки и поддержки инфраструктуры данных. Вам предстоит проектировать потоки данных, собирать витрины, разрабатывать сервисы доступа к данным и обеспечивать надежность ETL-процессов.

Компания Цифровые Технологии и Платформы

«Цифровые Технологии и Платформы» — российская ИТ-компания, разработчик цифровых решений и продуктов для промышленности. Создаем лучшие ИТ- и цифровые решения на рынке, ежедневно помогающие десяткам миллионов людей по всему миру! Мы находимся на передовой цифровой трансформации индустрии, внедряя передовые AI-решения для автоматизации и оптимизации ключевых бизнес-процессов в закупках, HR, логистике и производстве. https://digtp.com

Разработка ETL/ELT: Проектирование и реализация процессов доставки, подготовки данных и сборки витрин. Разработка сервисов: Создание REST API для взаимодействия с данными и управления процессами. Архитектура: Участие в принятии архитектурных решений для интеграционных потоков. Управление данными: Организация хранения и извлечения данных в различных хранилищах (SQL, S3). Мониторинг: Настройка мониторинга и алертинга для контроля здоровья ETL-процессов. Документация: Разработка и поддержка эксплуатационной документации. Поддержка: Участие в эксплуатации инструментов и поддержка существующих потоков данных.

Python (Advanced): Опыт создания REST API сервисов на FastAPI. Разработка скриптов для обработки данных: pandas, pyarrow, polars, boto3, SQLAlchemy, Psycopg, Pydantic. Знание принципов ООП и паттернов проектирования. Airflow (Advanced): Опыт работы с Celery и Kubernetes queue. Навыки динамического построения DAG. Docker: Опыт сборки образов для использования с Airflow (кастомизация воркеров, управление зависимостями). Хранилища данных: Навыки работы с S3 (Minio), PostgreSQL, ClickHouse, GreenPlum. Продвинутый уровень SQL (построение витрин, агрегация, оконные функции, CTE). Инфраструктура и мониторинг: Базовые навыки работы с Kubernetes. Умение настраивать соединения, создавать дашборды и алерты в Grafana. Опыт работы с Kafka, Spark будет преимуществом.

Будет плюсом: Опыт настройки и использования DataHub. Опыт применения dbt для трансформации данных.

Условия:

· Оформление по ТК РФ в штат аккредитованной IT - компании

· Конкурентный уровень заработной платы

· Программа заботы о здоровье сотрудников с первого месяца работы (ДМС, корпоративный спорт)

· Для детей предусмотрены: ежегодные Новогодние подарки, ежегодные летние лагеря отдыха

· Доступ к корпоративной OnLine библиотеке

· Обучение в программах Корпоративного университета

· Корпоративные скидки BestBenefits, где собраны лучшие предложения от более 900 брендов товаров и услуг, доступные в разных городах России