Hidden

TeamLead (NLP) / Senior Developer (NLP)

Интеллектуальная система анализа больших данных iFORA (разработка ИСИЭЗ НИУ ВШЭ) позволяет анализировать более 700 млн документов из уникальной коллекции (научные статьи, патенты, медиа и др.) для поддержки принятия стратегических решений.

Что делает команда iFORA:

1️⃣ Совершенствует инструментарий для аналитики на основе текстовых данных для формирования визуализаций и отчётов:

- обучаем и подготавливаем модели для работы с большими текстовыми данными.

- проектируем и разрабатываем аналитические решения на R или Python.

2️⃣ Автоматизирует внутренние процессы:

- организуем систему сбора данных с использованием парсеров данных из гетерогенных источников (RabbitMQ+Scrapy+Docker).

- собираем данные для анализа телеграмм каналов с помощью Telethon.

- обрабатываем большие объемы текстовых данных на NER.

3️⃣ Организует Extract-Transform-Load (ETL) процессы:

- размещаем датасеты помещаем в Elasticsearch.

- разбираем данные, полученные в результате парсинга, через систему микросервисов Flask-API, FastAPI.

- ищем, паспортируем и собираем новые источники полезных данных.

- формируем схемы для датасетов через fastjsonschema и/или pydantic.

Наш стэк:

  Python 3.8+

  Flask-API, Elasticsearch – основной. PostgreSQL/Redis - дополнительный

  Airflow,RabbitMQ/Kombu

  Rstudio,Pydantic

  Docker,Jenkins - CI/CD,Youtrack.

👨🏻‍💻А теперь о вакансии

⚒️Требуемые навыки:

- уверенное владение языком Python 3.8+, включая работу с ML или DL frameworks (Pandas, NumPy, SciPy и пр.)

- опыт в NLP и желание развиваться в области управления разработкой интеллектуальных информационных систем, использующих продвинутые методы анализа больших тестовых данных (сентимент анализ, NER и проч.)

- опыт промышленной разработки

- Linux — продвинутый пользователь

- глубокое понимание микросервисных архитектур и опыт самостоятельного проектирования и разработки микросервисов (понимание основных паттернов, observability, масштабирования и так далее)

- опыт руководства разработкой не менее одного года

- высшее техническое образование.

✅Преимуществом будет:

- понимание методов анализа текстов на естественном языке (NLP)

- интерес к уникальным системам в области анализа больших данных

- владение PyTorch и Tensorflow

- знание Big data стека

- знание и опыт работы с ЯП со статической типизацией

- владение английским языком на уровне, позволяющем читать и понимать техническую и научную литературу.

🤖Задачи:

- развивать и технологически совершенствовать систему аналитики на основе больших текстовых данных

- участвовать в принятии архитектурных решений — проектировать API, разрабатывать бэкенд новых сервисов, реализовывать бизнес-логику приложений

- проектировать и системно внедрять решения

- декомпозировать задачи и реалистично оценивать сроки их исполнения командой

- Выстраивать, совершенствовать и поддерживать процессы командной разработки и управления данными

- управлять командой технических специалистов (программисты, инженер данных, DevOps)

- взаимодействовать с командой дата сайнтистов

- обеспечивать с командой DE контроль качества данных и управлять процессами качества данных, машинного обучения и деплоя моделей

- заботиться о производительности, качестве и устойчивости поставляемых решений

- организовывать повышение квалификации разработчиков.

🎢Условия:

- полная занятость, полный день (возможность удаленной / частично удаленной работы)

- график работы 10.00 - 18.00

- зарплата по результатам собеседования

- оформление в соответствии с ТК РФ.

Возможности:

- офис в центре г. Москва (м. Лубянка, Китай город, Сретенский бульвар)

- НИУ ВШЭ входит в перечень аккредитованных IT-компаний

- опциональное участие в экспертных мероприятиях, инициативах и проектах ВШЭ

- опциональная возможность совмещать работу с обучением в любой магистратуре (более 100 направлений) или MBA ВШЭ

- опциональное участие в корпоративных программах кадрового развития, включая повышение квалификации, посещение выездных тренингов личностного роста и т.п.

- социальные программы: психолог, фитнес, мероприятия для детей сотрудников

- софинансирование ДМС.