Senior NLP Researcher

Posted:
MoscowNizhniy Novgorod, Yekaterinburg, Saint Petersburg
Remote or office
Full-time

#ML#DL#Python#PyTorch#Transformers#FSD#DeepSpeed

Brief description of the vacancy

Создавай и развивай GigaCode (AI‑ассистент разработчика)

About the company

Company Сбер

Мы - команда GigaCode, разрабатываем и развиваем AI-ассистента для разработчика.

Решаем задачи по различным подходам в NLP и PLP, постоянно проводим ресёрч-эксперименты и обучаем новые SOTA LLM.

Из направлений сейчас: претрейн моделей с нуля и дообучение, инструктивное обучение SFT/DPO/PPO для CodeChat, поиск и RAG, ускорение инференса, генерация тестов, мультиагентность, прототипирование плагинов для сред разработки (VSCode, PyCharm, IDEA). Целимся конкурировать с Copilot и TabNine.

Также мы являемся авторами многих моделей для русского языка (ruBERT, ruRoBERTa, ruT5, RuGPT3, FRED-T5). Обучаем на кластере Кристофари, у нас много свободы в использовании GPU.

Если у вас есть крутые идеи и большие амбиции в PLP и/или NLP направлениях, то присоединяйтесь к нам, будем делать важнейшие исследования вместе!

Responsibilities

  • дизайн экспериментов, формулировка гипотез для улучшения NLP/PLP моделей и алгоритмов, планирование исследовательских экспериментов с выводами
  • проведение экспериментов, написание кода, подготовка датасетов и бенчмарков, проведение замеров и анализ результатов
  • обучение моделей на кластере, включая обучение моделей с нуля и дообучение опенсорс моделей
  • взаимодействие с прод-командой для интеграции моделей и алгоритмов в продакшн. Взаимодействуем с командой инженеров SberWorks
  • ориентированность на SOTA, читать пейперы, быть в курсе последних исследований, предлагать новые смелые подходы и направления.

Requirements

Ты нам подходишь, если:

  • владеешь хорошими теоретическими знаниями в DL, с упором в современный NLP и трансформеры;
  • умеешь формулировать эксперименты с научной строгостью, обосновывать их, проводить самостоятельно и делать выводы;
  • обучал трансформеров;
  • имеешь опыт распределённого обучения моделей;
  • знаешь стандартные библиотеки для DL и NLP: PyTorch и Hugging Face;
  • увлечён NLP, PLP и DL.

Working conditions

  • комфортный современный офис рядом с м. Кутузовская
  • гибридный формат работы
  • ежегодный пересмотр зарплаты, годовая премия
  • корпоративный спортзал и зоны отдыха
  • система обучения для профессионального и карьерного развития
  • расширенный полис ДМС с первого дня работы и страхование для семьи
  • программа ипотеки для сотрудников
  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
  • вознаграждение за рекомендацию друзей в команду Сбера.

Contacts

Log InOnly registered users can open employer contacts.

Our website uses cookies, including web analytics services. By using the website, you consent to the processing of personal data using cookies. You can find out more about the processing of personal data in the Privacy policy