Hidden
Senior Data Engineer

Moscow
RUB 399,999550,000/month
Remote
Full-time

Data Engineer Python SQL Spark Hadoop Airflow k8s

Moderation Review

In the archive

Brief description of the vacancy

Мы ищем сильных Data Engineer'ов к нам в команду. Основные обязанности будут включать в себя переосмысление и оптимизацию текущих витрин данных, генерацию данных, разработку новых ETL-процессов, а также сбор и анализ требований от различных команд внутри компании.

About the company

Company Rubbles

Мы в Rubbles занимаемся разработкой и внедрением дата-продуктов в крупные бизнесы. Например, системами предсказания спроса на товары в ритейле и fmcg, рекомендательными системами, системами предсказания поломок оборудования, поисковыми системами для онлайн-магазинов, системами оптимизации производства в промышленности, цифровыми двойниками и многим другим. Алгоритмы Rubbles ежедневно улучшают работу крупнейших банков, ритейл-сетей, нефтегазовых компаний и других предприятий.

Responsibilities

  • Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark;
  • Работа c системами хранения такими как Clickhouse и PostgreSQL;
  • Поддержка существующих и написание новых Airflow Pipelines;
  • Переработка существующих пайплайнов “from scratch”;
  • Решение ad-hoc задач от аналитиков и датасаентистов;
  • Рефакторинг легаси кода;
  • Ревью кода других дата-инженеров;
  • Оптимизация сложных SQL-запросов;
  • Участие в реализации CI/CD в роли dataops;
  • Решение инфраструктурных проблем в роли dataops.

Requirements

  • Опыт промышленной разработки на Python от 4х лет;
  • Экспертное знание Python;
  • Опыт работы с различными cloud-сервисами: Yandex, Google, AWS и прочие;
  • Сильные софт скиллы и умение коммуницировать между командами;
  • Опыт работы с Apache Spark;
  • Опыт работы с Airflow;
  • Опыт работы с k8s;
  • Экспертное знание SQL;
  • Уверенная работа с командной строкой Linux/MacOS;
  • Умение вести проекты в Git;
  • Умение писать pytest и понимание TDD методологии разработки;
  • Опыт с CI/CD.

На что ещё смотрим:

  • Английский язык – уровень B1.

Working conditions

  • Работа в одной из самых сильных ML-команд в России;
  • Участие в росте компании, работающей на перспективном AI рынке;
  • Гибкий график работы;
  • Гибкий формат работы: полная удаленка (в том числе вне РФ)/гибрид/офис в Мск.
  • Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг.
  • Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами;
  • ДМС со стоматологией после испытательного срока (3 месяца) по всей России;

Особенно актуальное:

  • Мы аккредитованная ИТ-компания со всеми вытекающими льготами.

Contacts

Cookies help us deliver our services. By using our services, you agree to our use of cookies.