Hidden
Senior Data Engineer

Moscow
RUB 399,999550,000/month
Remote
Full-time

Data Engineer Python SQL Spark Hadoop Airflow k8s

Moderation Review

In the archive

Brief description of the vacancy

Мы ищем сильных Data Engineer'ов к нам в команду. Основные обязанности будут включать в себя переосмысление и оптимизацию текущих витрин данных, генерацию данных, разработку новых ETL-процессов, а также сбор и анализ требований от различных команд внутри компании.

About the company

Company Rubbles

Мы в Rubbles занимаемся разработкой и внедрением дата-продуктов в крупные бизнесы. Например, системами предсказания спроса на товары в ритейле и fmcg, рекомендательными системами, системами предсказания поломок оборудования, поисковыми системами для онлайн-магазинов, системами оптимизации производства в промышленности, цифровыми двойниками и многим другим. Алгоритмы Rubbles ежедневно улучшают работу крупнейших банков, ритейл-сетей, нефтегазовых компаний и других предприятий.

Responsibilities

  • Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark;
  • Работа c системами хранения такими как Clickhouse и PostgreSQL;
  • Поддержка существующих и написание новых Airflow Pipelines;
  • Переработка существующих пайплайнов “from scratch”;
  • Решение ad-hoc задач от аналитиков и датасаентистов;
  • Рефакторинг легаси кода;
  • Ревью кода других дата-инженеров;
  • Оптимизация сложных SQL-запросов;
  • Участие в реализации CI/CD в роли dataops;
  • Решение инфраструктурных проблем в роли dataops.

Requirements

  • Опыт промышленной разработки на Python от 4х лет;
  • Экспертное знание Python;
  • Опыт работы с различными cloud-сервисами: Yandex, Google, AWS и прочие;
  • Сильные софт скиллы и умение коммуницировать между командами;
  • Опыт работы с Apache Spark;
  • Опыт работы с Airflow;
  • Опыт работы с k8s;
  • Экспертное знание SQL;
  • Уверенная работа с командной строкой Linux/MacOS;
  • Умение вести проекты в Git;
  • Умение писать pytest и понимание TDD методологии разработки;
  • Опыт с CI/CD.

На что ещё смотрим:

  • Английский язык – уровень B1.

Working conditions

  • Работа в одной из самых сильных ML-команд в России;
  • Участие в росте компании, работающей на перспективном AI рынке;
  • Гибкий график работы;
  • Гибкий формат работы: полная удаленка (в том числе вне РФ)/гибрид/офис в Мск.
  • Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг.
  • Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами;
  • ДМС со стоматологией после испытательного срока (3 месяца) по всей России;

Особенно актуальное:

  • Мы аккредитованная ИТ-компания со всеми вытекающими льготами.

Contacts

Our website uses cookies, including web analytics services. By using the website, you consent to the processing of personal data using cookies. You can find out more about the processing of personal data in the Privacy policy