МТС Big Data Katas #2

Hackathon

Все еще с ODS! МТС - уже заслуженный партнер - впервые на Data Елке)

&nbsp;

В мае мы сделали небольшой челлендж для архитекторов (https://dataheroes.ru/mts-bigdata-katas-01), и, кажется, такой формат многим понравился. С тех пор мы сами поучаствовали в таких соревнованиях как команда, и на митапе расскажем про наш опыт и зарелизим новый челлендж. Задача, конечно, будет другая)

&nbsp;

Архитектурные катас - это возможность потренировать свои архитектурные навыки на вымышленных проектах. Команды по 4-5 человек в течение нескольких дней будут независимо работать над одним проектом. Команды должны будут оценить (или обесценить) требования заказчика (как и в реальной жизни, нужно будет задать несколько дополнительных вопросов), найти пропущенные области, представить архитектурное решение и объяснить некоторые выборы, которые они сделали. Оригинальные правила можно почитать тут - https://archkatas.herokuapp.com.

&nbsp;

Про нашу адаптацию 18 декабря в комнате МТС в 17-00 расскажут&nbsp;

<ul>
<li>Сергей Косый (глава центра прикладной архитектуры в Big Data МТС),&nbsp;</li>
<li>Григорий Коваль (архитектор всей data-платформы Big Data),&nbsp;</li>
<li>Саттар Гюльмамедов (архитектор одного из самых популярных сервисов в data-платформе Big Data)&nbsp;</li>
<li>Наташа Хапаева (mlops &amp; data governance).</li>
</ul>

Ждем всех на митапе в Spatial.Chat!

Привет!
Это Big Data Katas от МТС

Вводный митап про Architectural Katas. Расскажем правила, про новую задачу и зачем во всем этом вообще участвовать.

18:00 МТС Big Data Katas 3.0

17:00 Architectural katas от МТС

Задача к МТС Big Data Katas 3.0

МТС

Команда Big Data находится в поиске&nbsp;Архитектора&nbsp;на продукт&nbsp;Golden Record.&nbsp;Это&nbsp;система, которая собирает клиентские данные из разных источников в группе компаний, очищает и стандартизирует их. Затем объединяет эти разрозненные данные в экосистемных клиентов.

Что нужно делать

<ul>
<li>Проектировать архитектуру GR HUB для интеграции с МТС Профилем по бизнес-кейсам MTS_ID (цифровой профиль потребления);</li>
<li>Проектировать и участвовать в реализации интеграций в рамках задач CDP на ландшатфе МТС;</li>
<li>Проектировать и участвовать в реализации внедрения решения по CDC между Siebel и CDI (новое либо модификация существующего);</li>
<li>Выполнение требований регламентов и инструкций по подготовке в ОПЭ/ПЭ GR HUB;</li>
<li>Проектировать и лидировать для разработчиков и devops новые интеграции с GR HUB (IVR, ЕО, МГТС, смэв и др.);</li>
<li>Исследование и оптимизация тех.процессов GR HUB, выстраивание логики мониторинга GR HUB.</li>
</ul>

&nbsp;

Кого мы ищем

Обязательно:

<ul>
<li>Опыт работы с базами данных в качестве разработчика;</li>
<li>Опыт участия в проектах по созданию и развитию DWH/Data Lake;</li>
<li>Опыт проектирования интеграционных решений через API, очереди сообщений;</li>
<li>Понимание сильных и слабых сторон шаблонов проектирования интеграционных решений;</li>
<li>Английский на уровне чтения технической документации;</li>
<li>Хорошие знания SQL.</li>
</ul>

Желательно:

<ul>
<li>Опыт работы с Hive, Spark и стеком Hadoop;</li>
<li>Опыт программирования на Python, Scala, Java или любом другом языке программирования от 3 лет.</li>
</ul>

&nbsp;

Что мы предлагаем

Команда:&nbsp;на данным момент в Центре BigData 8 архитекторов. Каждый работает на своем продукте в кроссфункциональной команде (где есть аналитики, QA инженеры, DevOps, DE, DS и т.д.) Внутри ЦК мы регулярно синхронизируемся, развиваем общие подходы. Планируем различные мероприятия, включая обучение и выезды на внешние конференции. Помогаем друг другу по техническим и организационным вопросам, и стараемся переиспользовать удачные решения.

Условия:&nbsp;каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16 MacBook Pro или Dell на выбор.

Есть ли обучение?

Локальные и международные конференции, митапы. Корпоративный университет МТС и масштабная виртуальная библиотека. А ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы

Какой график?&nbsp;Гибкое начало рабочего дня в промежутке с 8 до 11. Есть возможность работать несколько дней вне офиса по договоренности с командой.

Сколько этапов при отборе?&nbsp;Не более трех:

<ul>
<li>HR + первое тех. интервью с лидом направления</li>
<li>Тестовое задание/второе интервью - по необходимости</li>
<li>Собеседование с PO и командой, выбор кандидатом проекта</li>
</ul>

&nbsp;

<h1><a href="https://job.mts.ru/vacancy/8037">Ссылка для отклика на вакансию&nbsp;</a></h1>

АРХИТЕКТОР (BIG DATA)

Команда Big Data находится в поиске DWH Архитектора на продукт CDL.&nbsp;Основная цель продукта - предоставление данных с определённым уровнем качества и SLA для продуктовых команд с целью извлечения дополнительной ценности из существующих данных.

&nbsp;

Что нужно делать

<ul>
<li>Разрабатывать архитектуру интеграционных решений по данным на ландшафте МТС с использованием Data Lake и платформ потоковой обработки данных Big Data (Hadoop, Spark, Kafka);</li>
<li>Проектировать интеграционный и презентационный слои (для batch + streaming);</li>
<li>Анализировать и проектировать интеграционные процессы с информационными системами ландшафта ГК МТС;</li>
<li>Участвовать во встречах по развитию Data Lake, платформ потоковой обработки данных. Формулировать функциональные и нефункциональные требования к ним а так же к источникам данных.</li>
</ul>

&nbsp;

Кого мы ищем

Обязательно:

<ul>
<li>Опыт работы с базами данных в качестве аналитика/разработчика;</li>
<li>Опыт участия в проектах по созданию и развитию DWH/Data Lake;</li>
<li>Опыт проектирования интеграционных решений через API, очереди сообщений;</li>
<li>Понимание сильных и слабых сторон шаблонов проектирования интеграционных решений;</li>
<li>Английский на уровне чтения технической документации;</li>
<li>Хорошие знания SQL.</li>
</ul>

Желательно:

<ul>
<li>Опыт работы с Hive, Spark и стеком Hadoop;</li>
<li>Опыт программирования на Python, Scala, Java или любом другом языке программирования от 3 лет.</li>
</ul>

&nbsp;

Что мы предлагаем

Стек технологий:

<ul>
<li>данные храним в Hadoop, обрабатываем на Spark (Pyspark, Scala) и SQL</li>
<li>разрабатываем на python3: R&amp;D делаем в Jupyter, продуктивизируем в PyCharm</li>
<li>обучаем модели на отдельных мощных машинах с видеокартами Tesla V100</li>
<li>используем собственные разработки для скоринга больших данных и MLFlow для экспериментов</li>
<li>храним код в gitlab, регулярные процессы запускаем через Airflow</li>
<li>управляем задачами через Jira и Confluence</li>
</ul>

Условия:&nbsp;каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16&rdquo; MacBook Pro или Dell на выбор.

Есть ли обучение?

<ul>
<li>Локальные и международные конференции, митапы.</li>
<li>Корпоративный университет МТС и масштабная виртуальная библиотека.</li>
<li>А ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы</li>
</ul>

Какой график?&nbsp;Гибкое начало рабочего дня в промежутке с 8 до 11. Есть возможность работать несколько дней вне офиса по договоренности с командой.

Сколько этапов при отборе?&nbsp;Не более трех:

<ol>
<li>HR + первое тех. интервью с лидом направления</li>
<li>Тестовое задание/второе интервью - по необходимости</li>
<li>Собеседование с PO и командой, выбор кандидатом проекта</li>
</ol>

<h1><a href="https://job.mts.ru/vacancy/8036">Ссылка для отклика на вакансию&nbsp;</a></h1>

DWH АРХИТЕКТОР (BIG DATA)

Команда&nbsp;Big Data&nbsp;находится в поиске Python разработчика, желающего развиваться в сторону архитектора.&nbsp;Продукт:&nbsp;&nbsp;маркетплейс BDaaS (Big Data as a Service).

MTS Big Data стратегически развивает направление собственной облачной платформы хранения и обработки больших данных в качестве основного приоритета для разработки и размещения разрабатываемых приложений на основе Big Data технологий. Сегодня в компании запущена и успешно работает первая версия платформы, которой пользуются потребители.

Что нужно делать

&nbsp;

Что предстоит делать?

- Разрабатывать backend маркетплейса BigData в части подключения новых продуктов и возможностей к нему;

-&nbsp;Проводить RND и benchmarking новых инструментов/решений на рынке, c целью замены существующих или закрытия потребностей в новых;

- Взаимодействовать&nbsp;с конечными потребителями платформы и их командами разработки в рамках развития платформы BigData;

- Заниматься разработкой&nbsp;типовой архитектуры для бизнес-продуктов с использованием технологий Big Data (Hadoop, Hive, HBase, MPP (Teradata, Greenplum, Vertica), PostgreSQL, Kafka, Spark, Flink, Airflow).

Кого мы ищем

Обязательно:

<ul>
<li>Опыт разработки на Python от 3 лет;</li>
<li>Опыт применения Flask, Django, Celery;</li>
<li>Опыт проектирования схем баз данных, хорошие знания SQL;</li>
<li>Знание и понимание принципов реализации систем мониторинга (Prometheus, Grafana);</li>
<li>Знание процессов непрерывной интеграции и развертывания (GitlabCI, Jenkins, Artifactory).</li>
</ul>

Желательно:

<ul>
<li>Практический опыт работы с технологиями Big Data (Spark, Airflow, Hadoop, Hive, MPP (YDB, Greenplum, Teradata, Vertica), S3, Kafka, Flink, etc.);</li>
<li>Понимание архитектуры, основных компонентов и их связанности, оркестрации, процессов взаимодействия с пользователями provisioning/billing и внешними сервисами;</li>
<li>Знание Go.</li>
</ul>

Что мы предлагаем

Команда:&nbsp;в команде Python разработчиков сейчас 20 человек (во всей Big Data МТС более 300 человек). Python разработчики работают в продуктах со своей автономной командой, в которой есть все роли: аналитики, DE, DS, разработчики, девопсы, менеджеры продукта.

Условия:&nbsp;каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16&rdquo; MacBook Pro или Dell на выбор.

Есть ли обучение?

<ul>
<li>Локальные и международные конференции, митапы.</li>
<li>Корпоративный университет МТС и масштабная виртуальная библиотека.</li>
<li>А ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы.</li>
</ul>

Какой график?&nbsp;Гибкое начало рабочего дня в промежутке с 8 до 11.

Сколько этапов при отборе?&nbsp;Не более трех:

<ol>
<li>&nbsp;HR + первое тех. интервью с лидом направления</li>
<li>Тестовое задание/второе интервью - по необходимости</li>
<li>Собеседование с PO и командой, выбор кандидатом проекта</li>
</ol>

&nbsp;

<h1><a href="https://job.mts.ru/vacancy/8024">Ссылка для отклика на вакансию&nbsp;</a></h1>

Meetups

18:00 МТС Big Data Katas 3.0

17:00 Architectural katas от МТС