Reliable ML

Reliable ML

09/29/23

Что такое Reliable ML?

Настало время объяснить, что было задумано при создании данного канала. Концепция Reliable ML – это о том, что делать, чтобы результат работы data science/big data команд был, во-первых, применим в бизнес-процессах компании-заказчика, а, во-вторых, приносил этой компании пользу.

Что для этого нужно?

- Уметь составлять грамотный план исследования и развития продукта, учитывающий дальнейшее применение модели. Для таких постов вводим тег #planning

- Различать подходы, направленные на прогноз и на управление параметрами модели в дальнейшем для изменения ее результата (например, управление периодом и форматом проведения промо-активностей для максимизации выручки компании). Для второй цели – которая на практике встречается гораздо чаще просто прогноза – важно ориентироваться в подходах причинно-следственного анализа. О том, что такое причинно-следственный анализ, чем он отличается от простой корреляции, зачем и как его применять в DS-задачах, мы рассказываем вам под тегом #causal_inference

- Принимать взвешенные решения о дальнейшем развитии проекта и его потенциальном финансовом эффекте. Для этого необходимо не только проработать качественный дизайн пилотного эксперимента для вашей модели, но и затем сделать корректную статистическую оценку эффекта пилота, а также расчет ожидаемого финансового эффекта. О технической составляющей этого процесса мы будем рассказывать вам под тегом #ab_testing, о выстраивании процесса управления рисками инвестиционных инициатив – под тегами #investment_process

- Уметь интерпретировать работу и результат модели как для технической команды, так и для конечного пользователя (бизнеса). Для этого мы рассказываем вам об интерпретируемости. Теперь все посты по Interpretable ML будут помечены тегом #interpretable_ml

- Уметь выбрать не только корректные технические метрики качества для решаемой задачи, но и сформулировать правильные бизнес-метрики, связанные с процессом применения модели, связать их с техническими метриками и итоговым финансовым результатом применения модели. Тут тег довольно очевидный - #metrics

Итак, концепция Reliable ML охватывает не только технические особенности ML (#tech), но и построение процессов работы DS и взаимодействия с бизнесом (#business) для достижения максимального финансового эффекта.