Предлагаем научиться делать fine-tuning трансформеров для задачи metric learning, сделать работающий demo-проект с использованием векторного поискового движка Qdrant и внести вклад в open source.
Qdrant - поисковый движок для эмбеддингов.
Он решает задачу хранения, обновления и быстрого поиска векторных представлений объектов (эмбеддингов).
Разворачивается в виде REST API сервиса по подобию ElasticSearch.
Необходимость работать с эмбеддингами возникает при разработке приложений, связанных с семантическим поиском, поиском похожих изображений. А также при использовании similarity(metric) learning подходов в, например, рекомендациях.
Для решения многих задач в NLP и не только хорошо подходят pre-trained трансформеры. Их можно использовать для задачи классификации, генерации текста, ответа на вопросы и, например, определения “логичности” высказываний.
Однако практически нету подробных туториалов и примеров по дообучению трансформеров для задачи semantic similarity, когда модель должна генерировать семантические эмбеддинги, которые можно использовать для определения похожести объектов.
Возникает естественное желание это исправить и показать на примере показать, что similarity learning - это естественный следующий шаг после обычных классификаторов, который может быть применен в production.
Участникам будет предоставлен пример работающего демо-приложения, использующего out-of-the-box модель, над улучшением качества которого также можно поработать.
Цель проекта - не получить наилучшую точность, а выработать best-practices по дообучению и использованию metric learning моделей.
Our website uses cookies, including web analytics services. By using the website, you consent to the processing of personal data using cookies. You can find out more about the processing of personal data in the Privacy policy