Data Fest 2021 & ODS Summer of Code #1

DescriptionРасписание

Удивительные трансформеры и где они обитают

Взглянем на трансформеры как на универсальный инструмент для анализа и обработки семантических последовательностей и рассмотрим их применение в разных задачах.

NLP

Track program

Интро: Удивительные трансформеры

Интро: Удивительные трансформеры

Мы взглянем на трансформеры как на универсальный инструмент для анализа и обработки семантических последовательностей и рассмотрим их применение за пределами прямого анализа естественного языка в разных задачах Яндекса.

MLTransformersGPT-3

422
CTC-трансформер ​для распознавания речи​

CTC-трансформер ​для распознавания речи​

Поговорим о том, как распознавание речи устроено в Алисе, какие модели машинного обучения для распознавания мы используем. Честно расскажем, как пришли к идее CTC-трансформера, что нам дало его обучение, как внедряли эту модель и как в целом ускорили инференс.

MLTransformersAutomatic Speech RecognitionASRDeep LearningJasperCTCCUDAcuDNN

431+1
Трансформерные модели для поисковой персонализации

Трансформерные модели для поисковой персонализации

Недавние успехи в области анализа последовательностей при помощи DL открыли возможность анализировать историю пользователя на масштабах сотен действий. В этом докладе мы расскажем, как правильно представлять такие взаимодействия пользователя с сервисами Яндекса в удобном для нейросетей виде, как мы адаптировали MLM Loss к задаче персонализации и как можно выкатить тяжелые трансформеры по пользовательской истории на сервисах с огромным RPS.

MLTransformersDeep learningDLRecommendationsUser Behaviour Analytics

221+1
Как приручить гигантские языковые модели

Как приручить гигантские языковые модели

Расскажем о том, как успешно обучить языковую модель с десятками миллиардов параметров. А еще обсудим то, как применить такую модель с максимальной пользой, если вы смогли ее обучить.

TransformersGPT-3NLPLMsDeep learningDL

322+1

Related Tracks

Яндекс. Effective data labeling with crowd

Яндекс. Effective data labeling with crowd

CrowdLabelingYandexToloka

3

Our website uses cookies, including web analytics services. By using the website, you consent to the processing of personal data using cookies. You can find out more about the processing of personal data in the Privacy policy

Learn More