ODS SPb Meetup. HighLoadDS

Мы решили объединить команды St. Petersburg Open Data Science Meetup и GPN Data Science Meetup и начать снова регулярно встречаться и обсуждать наше-датасайентистское. Тема первой встречи – Highload DS, поговорим о высоконагруженных сервисах рекомендаций и ускорении поиска с помощью индексов.

Прямая трансляция и чат будут доступны на YouTube, а всех, кто соскучился по оффлайн, ждем на Виленском переулке, 14 в Лектории Газпром нефти. Так как количество мест в зале ограничено, для входа просьба зарегистрироваться на TimePad. Приходите и зовите друзей!

1) Марк Паненко, Владимир Давидько (Rabota.ru), “Сервис рекомендаций с HRBert моделью в highload production”

В Работа.ру мы занимаемся разработкой сервисов на основе машинного обучения для улучшения пользовательского опыта при поиске работы. Недавно мы внедрили сервис рекомендаций, один из центральных сервисов нашей платформы.

В докладе расскажем о контент-ориентированных сервисах рекомендаций на основе Transformer-based модели, адаптированной для HR домена, а также о нашем опыте развития архитектурных решений в зависимости от нагрузки и ожидаемой производительности.

2) Артем Шарганов (Rabota.ru), “Рекомендации навыков с помощью Transformers и графовой БД Neo4j”

Месяц назад команда Работа.ру начала реализацию проекта real-time (почти) рекомендаций навыков на платформе. Сегодня мы поделимся тем, что у нас готово на данный момент, и поразмышляем, куда и как можно двигаться дальше.

В рамках доклада расскажем про жизненный цикл "навыка" на платформе:

• как он появляется,
• как рекомендуется для резюме,
• как используется пользователями,
• а также другими ML-сервисами

3) Амир Утеуов (Segmento), “Поисковые индексы в машинном обучении”

Задачи ранжирования, текстового поиска, определения схожести можно сформулировать, как задачи поиска ближайших объектов в векторном пространстве. Для эффективного поиска в большом количестве объектов применяются специальные структуры данных - поисковые индексы.

В докладе мы рассмотрим, как поисковые индексы улучшают производительность ML сервисов. В начале мы ознакомимся с идеями, которые стоят за поисковыми алгоритмами и структурами данных (HNSW, FAISS). Затем разберем как выбранный алгоритм поиска влияет на метрику качества и как можно улучшить качество выдачи, затронем как подобрать подходящий индекс и метрику расстояния под эмбеддинг (dot product, cos, distance metric learning).

На примерах матчинга текстовых документов, вопросно-ответной системы и поиска по изображениям мы увидим, как выбранный индекс помог многократно улучшить производительность, сохранив достаточное качество выдачи и какие аспекты в подобных задачах необходимо учитывать.

Контент 

0) Никита Кудрявцев (Газпром нефть), “Meetup intro”

1) Марк Паненко, Владимир Давидько (Rabota.ru), “Сервис рекомендаций с HRBert моделью в highload production”

2) Артем Шарганов (Rabota.ru), “Рекомендации навыков с помощью Transformers и графовой БД Neo4j”

3) Амир Утеуов (Segmento), “Поисковые индексы в машинном обучении”

Запись