Интро: Удивительные трансформерыМы взглянем на трансформеры как на универсальный инструмент для анализа и обработки семантических последовательностей и рассмотрим их применение за пределами прямого анализа естественного языка в разных задачах Яндекса.
CTC-трансформер для распознавания речиПоговорим о том, как распознавание речи устроено в Алисе, какие модели машинного обучения для распознавания мы используем. Честно расскажем, как пришли к идее CTC-трансформера, что нам дало его обучение, как внедряли эту модель и как в целом ускорили инференс.
Трансформерные модели для поисковой персонализацииНедавние успехи в области анализа последовательностей при помощи DL открыли возможность анализировать историю пользователя на масштабах сотен действий. В этом докладе мы расскажем, как правильно представлять такие взаимодействия пользователя с сервисами Яндекса в удобном для нейросетей виде, как мы адаптировали MLM Loss к задаче персонализации и как можно выкатить тяжелые трансформеры по пользовательской истории на сервисах с огромным RPS.
Как приручить гигантские языковые моделиРасскажем о том, как успешно обучить языковую модель с десятками миллиардов параметров. А еще обсудим то, как применить такую модель с максимальной пользой, если вы смогли ее обучить.