Middle Data Engineer

Ищем в команду Data Engineer с продвинутым SQL, опытом работы с pySpark, владением ETL-инструментами и хорошим Python.

Банк ТОП-3 в России

• Создавать и поддерживать корректную работоспособность ETL пайпов построения витрин данных
• Разрабатывать схемы сбора структурированных и неструктурированных данных из внутренних и внешних источников данных
• Разрабатывать скрипты для обработки и преобразования данных
• Подготавливать витрины данных для использования в ML моделях
• Создавать и оптимизировать ETL на pySpark
• Разработка и поддержание документации

Наш стэк:

• Hadoop, HDFS, pySpark, Postgres, Airflow, Hive, Jupyter Hub.

• От 2 лет релевантного опыта в роли Data Engineer
• Опыт решения задач по созданию и поддержке витрин данных
• Профильное высшее образование (математика, информатика)
• Продвинутые знания SQL (селекты\джоины\CTE\оконные функции) и понимание организации работы СУБД
• Хороший Python
• Опыт работы с Airflow или сходим ПО
• Опыт в оптимизации запросов SQL/pySpark
• Готовность и умение коммуницировать с заказчиками
• Самообучаемость, усвоение большого пласта новой информации в короткий срок

• Оформление ТК РФ
• Гибридный/удаленный формат работы
• Максимально короткая дистанция до коллег из других отделов и их руководителей
• Поощряем обучение сотрудников, даём доступ к корпоративной базе знаний
• При необходимости предоставляем курсы повышения квалификации;