Соревнование соревнований — от сообщества для сообщества !

Update: соревнование соревнований продлено до Data Fest 2022 (21 мая 2022).

ML соревнования — это отличный формат для того, чтобы делом продвигать Data Science и Machine Learning: 

🔭С помощью соревнований можно популяризировать важные интереснейшие нишевые (пока ещё не мейнстрим) задачи. 

🏰Можно развивать новые семейства методов, писать про них статьи и создавать новые библиотеки (см. Историю факторизационных машин). 

📈Самое главное, соревнования — это отличный образовательный инструмент для продвижения лучших практик и новейших библиотек. 

🚀А ещё, в некоторых случаях соревнования являются опорными бенчмарками для крупных подобластей в ML

Мы уже проводили на платформе ods.ai сложнейшие и уникальнейшие соревнования для компаний. В этом году мы хотим сделать куда больше соревновательных историй уже от сообщества и для сообщества. Поэтому мы не только утвердили новые номинации для премии ODS Awards, но и заготовили призовой фонд, который будет пополняться в течение года!

Какие будут номинации у соревнований?

Следуя нотации MICCAI, мы будем награждать соревнования от сообщества в 3 номинациях:

🔮 Insight challenges: особенно наукоёмкие и трудно формулируемые задачи. Награду получит то из соревнований, в котором удастся добиться наибольшего прогресса по своей сложной задаче. 

Примеры: задачи reasoning, probabilistic theorem proving, privacy preserving ML, neural ODE и другие.

💪 Deploy challenges: чётко сформулированные соревнования по любой DS/ML тематике (индустриальной или научной), с уклоном на итоговые метрики — математические, технические, или их tradeoff. Награду получат те соревнования, где путём инженерии удастся дальше всего продвинуться по всем техническим метрикам, вместе с этим популяризируя лучшие практики, технические решения и библиотеки.

Примеры: задачи ACT, различные постановки Meta-Learning / AutoML и Transfer Learning, или же вовсе узкоспециализированные прикладные задачи. 

🧑‍🏫 Educational challenges: задачи любой сложности и тематики, созданные для обучения и популяризации различным темам и аспектам DS/ML. Награду получат самые массовые образовательные соревнования, которые будут претендовать на роль стандартных лаб по своим темам. Готовим новый золотой стандарт в обучении машинному обучению.

Примеры: абсолютно любые задачи как по классическим тематикам (предсказание временных рядов, условные кривые дожития, рекомендательные системы, uplift и др.), так и по смежным — упражнения по грамотной валидации, настройкам семплинга, задачам оптимизации и многому другому!

Какие будут призы?

Про вклад науку мы поговорили — теперь про призы!

💸 Текущий призовой фонд 1,500,000 рублей. (обновлено) 

Призовой фонд будет пополняться в течение года по мере появления новых индустриальных партнёров ODS Awards.

🏆Призовой фонд распределяется между топ-N участниками, а также командой организатора. Число N, как и распределение сумм между ними определяется вместе с процессом голосования за лучшие соревнования. Baseline для числа N: 3, но может быть увеличено голосующими. Команда организатора получает сумму, равную сумме за первое место.

🌎Участвовать в соревновании и претендовать на призы могут граждане любых стран и возрастов. В самих соревнованиях аффилированные с организатором участники должны придерживаться правил помечания своих команд как OOC (Out-Of-Competition). Все, кроме диктатора ODS и технической команды Data Souls, имеют право оказаться призёрами соревнования соревнований.

📊Голосование за лучшие соревнования будет проходить в декабре в рамках голосований ODS Awards 2021. Educational Challenges будут проходить одним раундом публичного голосования. Insight и Deploy challenges будут проходить в 2 раунда: первый раунд будет публичным голосованием в сообществе для определения финалистов. Финальный раунд — закрытым голосованием с жюри, не аффилированного с финалистам: для Insight challenges жюри из ведущих международных экспертов академического ML, а для deploy — жюри со стороны создателей Open Source решений и ведущих экспертов из области.

💰Распределение призового фонда между номинациями в течение года. Номинации лучших соревнований делят бюджет в пропорциях 30%-30%-40%. До достижения суммы призового фонда в 3,000,000 рублей награждается только одно соревнование в каждой номинации. Начиная с 3,000,000 рублей — 2 соревнования в каждой номинации. 6,000,000 рублей — 3 соревнования, и так далее. 

Какие задачи стоит подавать?

Всё начинается с данных. Самое важное — в вашем соревновании должны быть уникальные, доступные только вам, тестовые данные. Эти данные должны быть получены легальным путём с наличием соответствующих лицензий и/или договоренностей с владельцами данных (если это сервис). Идеальный вариант — если вы исследователь из университетской лаборатории, в владении которого есть свои собственные данные.

Как подать заявку?

Подача заявки на соревнование делается в свободной форме. Вы жмёте по кнопке submit solution и описываете свой проект в свободной форме. Не забудьте указать ваши контактные данные, чтобы мы могли с вами связаться! Мы постараемся оперативно отвечать на заявки и всесторонне помогать в реализации ваших соревнований на ODS!

Что будет нужно от вас?

Полностью подготовить задачу :)

То есть, данные с их разбиениями, метрики, описания, baseline, и весь остальной starter-kit. Мы поможем сделать из соревнований полноценный трек с обзорами про задачу, своими митапами, активностями, и другими полезными для соревнования вещами!

Timeline премии

До 21 мая 2022 мы рассматриваем заявки. Ожидается, что не позже, чем 1 сентября 2022 сами соревнования будут запущены (старт осеннего сезона курсов). Подготовкой соревнований также можно заниматься летом, у нас для этого как раз есть ODS Summer of Code.

В течение 2022: мы запускаем соревнования, встраиваем их в курсы ODS, а участники пытаются решить ваши задачи!

Декабрь 2022: идут голосования за лучшие соревнования в рамках ODS Awards 2021. Жюри принимаются решения по своим номинациям к Дата Ёлке 2022. 

Дата Ёлка 2022: Вскрываем результаты и оглашаем победителей! После чего, победители определяются с рспределением призового фонда, который выплачивается уже в начале 2023.