Задача анализа эмоционального окраса диалогов с оператором тех.поддержки.
В качестве решения предлагается функция как сервис,
т.е
мы дообучаем ML-модели на данных заказчика, если они есть,
развертываем модель в облаке
предоставляем доступ к API модели
Контекст и проблематика
Такой сервис может облегчить решение задач сегментации клиентского негатива и оценку динамики тональности диалогов.
Данные
Итоговый датасет является объединением нескольких наборов данных: "cedr", "ok_ml_cup", "dairai_emotions" и "emotions_go". Некоторые из них - "dairai_emotions" и "emotions_go" - изначально были на английском языке и были переведены на русский с помощью API Yandex Translate.
Размер датасета: ~100к пар предложение/эмоция.
Методология
Логирование в MLFlow
Все артефакты, возникающие при обучении моделей (чекпоинты модели, метрики, гиперпараметры) логируются с использованием MLflow.
Для развертывания MLflow в проекте используется четвертый сценарий. MLflow Tracking Server развертывается на Yandex Cloud, а для хранения артефактов используется хранилище S3. Для хранения сущностей (метрик) используется база данных PostgreSQL. Обратите внимание, что MLflow не включает модуль авторизации, поэтому в проекте была реализована авторизация через HTTP Basic authentication.
Учетные данные для авторизации, шифрование git-crypt
Переменные окружения с учетными данными для авторизации в MLflow хранятся в файле .env. Для версионирования и хранения данных в проекте используется DVC S3 с s3 бакетом на VK Cloud. Учетные данные для доступа к хранилищу S3 через DVC находятся в .dvc/config.
Файлы с учетными данными (.env и .dvc/config) зашифрованы с использованием git-crypt.
