Middle|Senior Data Engineer (Scala)

Ищем инженера по данным для разработки системы обработки информации о продажах в России. Наша команда создает ETL-процессы и агрегаты для формирования витрин данных и отчетов. Объем данных огромен — несколько петабайт, сотни ETL-процессов и ежедневная обработка десятков-сотен терабайт информации.

Мы работаем с ведущими компаниями, создавая для них надежное программное обеспечение и понятный, высококачественный пользовательский опыт. Наши решения трансформируют бизнес наших клиентов и партнеров.

• Построение, поддержка ETL-процессов и решение разнообразных бизнес-задач для обработки больших объёмов данных с использованием Spark+Scala
• Оптимизация скорости обработки данных и потребления системных ресурсов
• Поиск и устранение причин ошибок, аномалий в результирующих данных
• Создание оптимальных SQL-запросов средней сложности для анализа больших объёмов данных по требованиям бизнеса

Стек технологий: Scala, Apache Spark, ClickHouse, HDFS, Apache Airflow, PostgreSQL, Apache Kafka, Apache Hive, Apache Iceberg

Что мы ожидаем от кандидата:

• Владение Scala, Java или готовность оперативно освоить основы scala
• Консольный минимум Linux
• Опыт работы со Spark, уверенное понимание принципов работы и потенциальных проблем
• Знание основ работы с БД, уверенное знание SQL

Будет плюсом:

• Опыт работы с Scala Dataframe/Dataset API
• Опыт построения и оркестрации ETL-процессов для обработки Big Data
• Опыт оптимизации spark-запросов и настройки потребляемых ресурсов
• Углублённое понимание принципов работы и конфигурационных параметров Spark
• Опыт работы с Zepellin или Jupiter
• Опыт работы с ClickHouse или иными NoSQL
• Опыт работы с Apache Airflow
• Знание Hadoop/HDFS, работа с Parquet-файлами, работа с hive
• Умение работать с GitLab CI
• Знание Bash достаточное, чтобы внести исправления в скрипты
• Минимальные знания Python
• Английский на уровне B1 и выше

• Работу в динамичной международной команде
• Участие в иностранных и российских проектах
• Оформление по ТК РФ, 100% оплата больничного и отпуска
• ДМС со стоматологией
• Необходимую для работы технику
• Корпоративные обучающие программы
• Широкие возможности для самореализации, профессионального и карьерного роста
• Демократичный подход к процессам и плавающее начало рабочего дня.