(ML Ops) DevOps Big Data

Международный центр разработки технологической платформы в поисках инженера платформы данных (ML Ops) DevOps Big Data.

Наша команда уже более 4-х лет развивает уникальную передовую технологию сбора и обработки информации о портретах и предпочтениях посетителей интернет ресурсов. Наши умные алгоритмы позволяют получать максимально релевантную и полезную информацию.  

• Развертывать, обновлять и настроивать системное ПО в стеке Big Data (Data Lake, ML Platform, BI);
• Обеспечивать стабильную работу Data Lake, ML Platform и аналитических инструментов (BI);
• Настраивать ролевую модель доступа к Data Lake (Apache Ranger);
• Разрабатывать и поддерживать конвейер CI/CD;
• Интегрировать инструменты, обеспечивающие работу конвейера CI/CD;
• Вести DevOps-гайды в confluence.

• Опыт работы на аналогичной позиции не менее 2х лет;
• Опыт администрирования инфраструктуры linux/windows;
• Опыт разработки pipeline CI/CD (Teamcity/Jenkins/GitLab CI, Bitbucket, Nexus);
• Опыт администрирования средств контейнеризации: Docker, Kubernetes + helm chart;
• Опыт администрирования распределенных систем и веб-серверов, серверов приложений, серверов БД (PostgreSQL, Clickhouse,Redis, MS SQL Server);
• Опыт инсталляции и настройки инфраструктуры Big Data (Apache Hadoop&Yarn, Apache Spark, Apache Flink, Apache AirFlow, Jupyter Notebook);
• Опыт работы с системами автоматического развёртывания (Ansible или любой другой);
• Опыт работы с Prometheus/Grafana/Elasticsearch (ELK-EFK);
• Опыт работы с Graylog/Opensearch/Loki;
• Опыт работы с S3 (Minio, CEPH);
• Опыт работы с MLFlow/Kubeflow;
• Знание python на базовом уровне;
• Понимание принципов DevOps, цикла разработки, внедрения и сопровождения ПО (разработка, интеграция, тестирование, развертывание, мониторинг);
• Понимание принципов построения системных интеграций (ETL, kafka);
• Понимание микросервисной архитектуры и потоковой обработки данных;
• Понимание процессов сетевого взаимодействия и сетевого стека;
• Знание английского языка на техническом уровне;
• Опыт работы в Agile методологии (Scrum/Kanban).

• Сильная и сплоченная техническая команда;
• Двигаемся в сторону дата-ориентированной организации;
• Верим в факты, исследования и метрики, а не на слово;
• Держим фокус на ценностях для пользователя;
• Свобода действий и возможность напрямую влиять на развитие бизнеса;
• Релокация;
• Возможен гибридный формат работы;
• Официальное оформление;
• Развитие личного бренда на конференциях, митапах и внутренних событиях.