Расписание докладов:

Ладенков Владислав, MLOps Lead, АТОМ

В Атоме мы стремимся использовать ClearML как единое окно входа, задействуя все возможности: Model Registry, версионирование датасетов с синхронизацией на разные тиры хранилищ, очереди исполнений и автоскейлинг. Пайплайны данных построены по философии Data Mesh из-за невозможности централизованной обработки.

Эти принципы реализует ДатаПлатформа, обеспечивая клиентам уровни хранения и выполнение задач через ClearML. Завершающий этап — интеграция систем разметки с ClearML, чтобы к утру понедельника получать «горячие» датасеты.

Антон Алексеев, DevOps-инженер ML-продуктов, Selectel

Тема — Автоскейлинг инференса в k8s

Антон расскажет про опыт внедрения автоскейлинга инференса в кластере k8s с GPU.

В докладе мы охватим следующие темы: 

— как реализовать автоскейлинг инференса с GPU в K8S;

— узкие горлышки в различных этапах автоскейлинга;

— методы ускорения этапов автоскейлинга;

— автоскейлинг на одной GPU;

— сравнение скедулеров для ворклоудов с GPU;

Также мы узнаем какие из методов помогли сократить время аплоуда и ускорить автоскейлинг, какие есть плюсы и минусы подходов.