Data Fest 2021 & ODS Summer of Code #1

DescriptionРасписание

Удивительные трансформеры и где они обитают

Взглянем на трансформеры как на универсальный инструмент для анализа и обработки семантических последовательностей и рассмотрим их применение в разных задачах.

NLP

Track program

Интро: Удивительные трансформеры

Интро: Удивительные трансформеры

Мы взглянем на трансформеры как на универсальный инструмент для анализа и обработки семантических последовательностей и рассмотрим их применение за пределами прямого анализа естественного языка в разных задачах Яндекса.

MLTransformersGPT-3

422
CTC-трансформер ​для распознавания речи​

CTC-трансформер ​для распознавания речи​

Поговорим о том, как распознавание речи устроено в Алисе, какие модели машинного обучения для распознавания мы используем. Честно расскажем, как пришли к идее CTC-трансформера, что нам дало его обучение, как внедряли эту модель и как в целом ускорили инференс.

MLTransformersAutomatic Speech RecognitionASRDeep LearningJasperCTCCUDAcuDNN

431+1
Трансформерные модели для поисковой персонализации

Трансформерные модели для поисковой персонализации

Недавние успехи в области анализа последовательностей при помощи DL открыли возможность анализировать историю пользователя на масштабах сотен действий. В этом докладе мы расскажем, как правильно представлять такие взаимодействия пользователя с сервисами Яндекса в удобном для нейросетей виде, как мы адаптировали MLM Loss к задаче персонализации и как можно выкатить тяжелые трансформеры по пользовательской истории на сервисах с огромным RPS.

MLTransformersDeep learningDLRecommendationsUser Behaviour Analytics

221+1
Как приручить гигантские языковые модели

Как приручить гигантские языковые модели

Расскажем о том, как успешно обучить языковую модель с десятками миллиардов параметров. А еще обсудим то, как применить такую модель с максимальной пользой, если вы смогли ее обучить.

TransformersGPT-3NLPLMsDeep learningDL

322+1

Related Tracks

Яндекс. Effective data labeling with crowd

Яндекс. Effective data labeling with crowd

CrowdLabelingYandexToloka

3

Cookies help us deliver our services. By using our services, you agree to our use of cookies.

Learn More