МТС Big Data Katas #2

Hackathon

MTS ML CUP

Predictions

Все еще с ODS! МТС - уже заслуженный партнер - впервые на Data Елке)

&nbsp;

В мае мы сделали небольшой челлендж для архитекторов (https://dataheroes.ru/mts-bigdata-katas-01), и, кажется, такой формат многим понравился. С тех пор мы сами поучаствовали в таких соревнованиях как команда, и на митапе расскажем про наш опыт и зарелизим новый челлендж. Задача, конечно, будет другая)

&nbsp;

Архитектурные катас - это возможность потренировать свои архитектурные навыки на вымышленных проектах. Команды по 4-5 человек в течение нескольких дней будут независимо работать над одним проектом. Команды должны будут оценить (или обесценить) требования заказчика (как и в реальной жизни, нужно будет задать несколько дополнительных вопросов), найти пропущенные области, представить архитектурное решение и объяснить некоторые выборы, которые они сделали. Оригинальные правила можно почитать тут - https://archkatas.herokuapp.com.

&nbsp;

Про нашу адаптацию 18 декабря в комнате МТС в 17-00 расскажут&nbsp;

<ul>
<li>Сергей Косый (глава центра прикладной архитектуры в Big Data МТС),&nbsp;</li>
<li>Григорий Коваль (архитектор всей data-платформы Big Data),&nbsp;</li>
<li>Саттар Гюльмамедов (архитектор одного из самых популярных сервисов в data-платформе Big Data)&nbsp;</li>
<li>Наташа Хапаева (mlops &amp; data governance).</li>
</ul>

Ждем всех на митапе в Spatial.Chat!

Расскажем из чего состоит жизненный цикл решения на базе NLP. Как довести гипотезу до продуктивной среды и сделать так, чтобы поддержка этого решения не съедала все свободное время.

МТС. Жизненный цикл решения на базе NLP

MTC. Your first recsys

Привет!
Это Big Data Katas от МТС

Вводный митап про Architectural Katas. Расскажем правила, про новую задачу и зачем во всем этом вообще участвовать.

18:00 МТС Big Data Katas 3.0

17:00 Architectural katas от МТС

Задача к МТС Big Data Katas 3.0

МТС

Команда Big Data находится в поиске&nbsp;Архитектора&nbsp;на продукт&nbsp;Golden Record.&nbsp;Это&nbsp;система, которая собирает клиентские данные из разных источников в группе компаний, очищает и стандартизирует их. Затем объединяет эти разрозненные данные в экосистемных клиентов.

Что нужно делать

<ul>
<li>Проектировать архитектуру GR HUB для интеграции с МТС Профилем по бизнес-кейсам MTS_ID (цифровой профиль потребления);</li>
<li>Проектировать и участвовать в реализации интеграций в рамках задач CDP на ландшатфе МТС;</li>
<li>Проектировать и участвовать в реализации внедрения решения по CDC между Siebel и CDI (новое либо модификация существующего);</li>
<li>Выполнение требований регламентов и инструкций по подготовке в ОПЭ/ПЭ GR HUB;</li>
<li>Проектировать и лидировать для разработчиков и devops новые интеграции с GR HUB (IVR, ЕО, МГТС, смэв и др.);</li>
<li>Исследование и оптимизация тех.процессов GR HUB, выстраивание логики мониторинга GR HUB.</li>
</ul>

&nbsp;

Кого мы ищем

Обязательно:

<ul>
<li>Опыт работы с базами данных в качестве разработчика;</li>
<li>Опыт участия в проектах по созданию и развитию DWH/Data Lake;</li>
<li>Опыт проектирования интеграционных решений через API, очереди сообщений;</li>
<li>Понимание сильных и слабых сторон шаблонов проектирования интеграционных решений;</li>
<li>Английский на уровне чтения технической документации;</li>
<li>Хорошие знания SQL.</li>
</ul>

Желательно:

<ul>
<li>Опыт работы с Hive, Spark и стеком Hadoop;</li>
<li>Опыт программирования на Python, Scala, Java или любом другом языке программирования от 3 лет.</li>
</ul>

&nbsp;

Что мы предлагаем

Команда:&nbsp;на данным момент в Центре BigData 8 архитекторов. Каждый работает на своем продукте в кроссфункциональной команде (где есть аналитики, QA инженеры, DevOps, DE, DS и т.д.) Внутри ЦК мы регулярно синхронизируемся, развиваем общие подходы. Планируем различные мероприятия, включая обучение и выезды на внешние конференции. Помогаем друг другу по техническим и организационным вопросам, и стараемся переиспользовать удачные решения.

Условия:&nbsp;каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16 MacBook Pro или Dell на выбор.

Есть ли обучение?

Локальные и международные конференции, митапы. Корпоративный университет МТС и масштабная виртуальная библиотека. А ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы

Какой график?&nbsp;Гибкое начало рабочего дня в промежутке с 8 до 11. Есть возможность работать несколько дней вне офиса по договоренности с командой.

Сколько этапов при отборе?&nbsp;Не более трех:

<ul>
<li>HR + первое тех. интервью с лидом направления</li>
<li>Тестовое задание/второе интервью - по необходимости</li>
<li>Собеседование с PO и командой, выбор кандидатом проекта</li>
</ul>

&nbsp;

<h1><a href="https://job.mts.ru/vacancy/8037">Ссылка для отклика на вакансию&nbsp;</a></h1>

АРХИТЕКТОР (BIG DATA)

Команда Big Data находится в поиске DWH Архитектора на продукт CDL.&nbsp;Основная цель продукта - предоставление данных с определённым уровнем качества и SLA для продуктовых команд с целью извлечения дополнительной ценности из существующих данных.

&nbsp;

Что нужно делать

<ul>
<li>Разрабатывать архитектуру интеграционных решений по данным на ландшафте МТС с использованием Data Lake и платформ потоковой обработки данных Big Data (Hadoop, Spark, Kafka);</li>
<li>Проектировать интеграционный и презентационный слои (для batch + streaming);</li>
<li>Анализировать и проектировать интеграционные процессы с информационными системами ландшафта ГК МТС;</li>
<li>Участвовать во встречах по развитию Data Lake, платформ потоковой обработки данных. Формулировать функциональные и нефункциональные требования к ним а так же к источникам данных.</li>
</ul>

&nbsp;

Кого мы ищем

Обязательно:

<ul>
<li>Опыт работы с базами данных в качестве аналитика/разработчика;</li>
<li>Опыт участия в проектах по созданию и развитию DWH/Data Lake;</li>
<li>Опыт проектирования интеграционных решений через API, очереди сообщений;</li>
<li>Понимание сильных и слабых сторон шаблонов проектирования интеграционных решений;</li>
<li>Английский на уровне чтения технической документации;</li>
<li>Хорошие знания SQL.</li>
</ul>

Желательно:

<ul>
<li>Опыт работы с Hive, Spark и стеком Hadoop;</li>
<li>Опыт программирования на Python, Scala, Java или любом другом языке программирования от 3 лет.</li>
</ul>

&nbsp;

Что мы предлагаем

Стек технологий:

<ul>
<li>данные храним в Hadoop, обрабатываем на Spark (Pyspark, Scala) и SQL</li>
<li>разрабатываем на python3: R&amp;D делаем в Jupyter, продуктивизируем в PyCharm</li>
<li>обучаем модели на отдельных мощных машинах с видеокартами Tesla V100</li>
<li>используем собственные разработки для скоринга больших данных и MLFlow для экспериментов</li>
<li>храним код в gitlab, регулярные процессы запускаем через Airflow</li>
<li>управляем задачами через Jira и Confluence</li>
</ul>

Условия:&nbsp;каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16&rdquo; MacBook Pro или Dell на выбор.

Есть ли обучение?

<ul>
<li>Локальные и международные конференции, митапы.</li>
<li>Корпоративный университет МТС и масштабная виртуальная библиотека.</li>
<li>А ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы</li>
</ul>

Какой график?&nbsp;Гибкое начало рабочего дня в промежутке с 8 до 11. Есть возможность работать несколько дней вне офиса по договоренности с командой.

Сколько этапов при отборе?&nbsp;Не более трех:

<ol>
<li>HR + первое тех. интервью с лидом направления</li>
<li>Тестовое задание/второе интервью - по необходимости</li>
<li>Собеседование с PO и командой, выбор кандидатом проекта</li>
</ol>

<h1><a href="https://job.mts.ru/vacancy/8036">Ссылка для отклика на вакансию&nbsp;</a></h1>

DWH АРХИТЕКТОР (BIG DATA)

Команда&nbsp;Big Data&nbsp;находится в поиске Python разработчика, желающего развиваться в сторону архитектора.&nbsp;Продукт:&nbsp;&nbsp;маркетплейс BDaaS (Big Data as a Service).

MTS Big Data стратегически развивает направление собственной облачной платформы хранения и обработки больших данных в качестве основного приоритета для разработки и размещения разрабатываемых приложений на основе Big Data технологий. Сегодня в компании запущена и успешно работает первая версия платформы, которой пользуются потребители.

Что нужно делать

&nbsp;

Что предстоит делать?

- Разрабатывать backend маркетплейса BigData в части подключения новых продуктов и возможностей к нему;

-&nbsp;Проводить RND и benchmarking новых инструментов/решений на рынке, c целью замены существующих или закрытия потребностей в новых;

- Взаимодействовать&nbsp;с конечными потребителями платформы и их командами разработки в рамках развития платформы BigData;

- Заниматься разработкой&nbsp;типовой архитектуры для бизнес-продуктов с использованием технологий Big Data (Hadoop, Hive, HBase, MPP (Teradata, Greenplum, Vertica), PostgreSQL, Kafka, Spark, Flink, Airflow).

Кого мы ищем

Обязательно:

<ul>
<li>Опыт разработки на Python от 3 лет;</li>
<li>Опыт применения Flask, Django, Celery;</li>
<li>Опыт проектирования схем баз данных, хорошие знания SQL;</li>
<li>Знание и понимание принципов реализации систем мониторинга (Prometheus, Grafana);</li>
<li>Знание процессов непрерывной интеграции и развертывания (GitlabCI, Jenkins, Artifactory).</li>
</ul>

Желательно:

<ul>
<li>Практический опыт работы с технологиями Big Data (Spark, Airflow, Hadoop, Hive, MPP (YDB, Greenplum, Teradata, Vertica), S3, Kafka, Flink, etc.);</li>
<li>Понимание архитектуры, основных компонентов и их связанности, оркестрации, процессов взаимодействия с пользователями provisioning/billing и внешними сервисами;</li>
<li>Знание Go.</li>
</ul>

Что мы предлагаем

Команда:&nbsp;в команде Python разработчиков сейчас 20 человек (во всей Big Data МТС более 300 человек). Python разработчики работают в продуктах со своей автономной командой, в которой есть все роли: аналитики, DE, DS, разработчики, девопсы, менеджеры продукта.

Условия:&nbsp;каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16&rdquo; MacBook Pro или Dell на выбор.

Есть ли обучение?

<ul>
<li>Локальные и международные конференции, митапы.</li>
<li>Корпоративный университет МТС и масштабная виртуальная библиотека.</li>
<li>А ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы.</li>
</ul>

Какой график?&nbsp;Гибкое начало рабочего дня в промежутке с 8 до 11.

Сколько этапов при отборе?&nbsp;Не более трех:

<ol>
<li>&nbsp;HR + первое тех. интервью с лидом направления</li>
<li>Тестовое задание/второе интервью - по необходимости</li>
<li>Собеседование с PO и командой, выбор кандидатом проекта</li>
</ol>

&nbsp;

<h1><a href="https://job.mts.ru/vacancy/8024">Ссылка для отклика на вакансию&nbsp;</a></h1>

Tracks

MTC. Your first recsys

МТС. Жизненный цикл решения на базе NLP