Ended 4 years ago
12 participants

Community Baseline для РВК Про//Чтение

Прокачиваем участие сообщества к крупнейшем технологическом конкурсе по NLP с призовым фондом 200 млн. рублей.

Про Про//Чтение

ПРО//ЧТЕНИЕ - значимый конкурс по созданию ИИ-ассистентов, способных помогать учителям выявлять логические, фактические, стилистические, смысловые и другие ошибки в сочинениях школьников на русском и английском языках. 

Эта задача неспроста была выбрана технологическим барьером - конкурс будет идти до декабря 2022 года, и спустя первый год проведения барьер взят не был. К тому же, у задачи очень высокий технический порог входа - здесь всё-таки нужен не fit-predict, а структурированная разметка различных типов ошибок. 

Также из-за одновременно и технической, и научной сложности задачи, несмотря на призовые в 200 миллионов рублей, участников пока не много. Если смотреть на лидерборд, то даже работоспособные решения (чтобы хотя бы попасть на лидерборд) за первый год отправили всего 10 команд. 

В чём идея проекта?

Есть гипотеза, что если бы мы как сообщество собрали для этой задачи нормальный baseline, то убили бы сразу несколько зайцев:

  • Задача сама по себе хардкорнее некуда. Baseline был бы крутым образовательным материалом, про который и статью можно написать, и самим протестировать различные новые методы и подходы. 
  • Конкурс действительно неподъемный для соло-участников, особенно без какого-либо baseline и starter-kit-а. Однако, если этот starter kit появится - это станет всего лишь вопросом времени, пока ODS не ворвётся в топ.
  • Продвинув конкурс среди ODS, возможно ODS-вцы сформируют новые команды, которые смогут ворваться не только в топ, но и в призы. 

Что будем делать?

Совместно собирать baseline в рамках летней школы. У нас есть поднятый на ODS тренажёр для проверки ответов. Он сделан как первый шаг на пути к решению основной задачи конкурса:

  • Это сподручный интерфейс проверки входа-выхода алгоритмов в задаче
  • Уже есть расчет метрик по методике большого конкурса

Разве что денег за эти решения не дают. Но и код никто не проверяет. 

Задача минимум на ODS Summer of Code - собрать полноценный и задокументированный baseline, который сможет показать сносное качество хотя бы на ODS тренажёре. 

Задача окнорм - собрать поверх алгоритмического baseline ещё и полностью рабочий инженерный baseline для участия в полноценных испытаниях. А еще написать статью - хотя бы на Хабр.

Задача максимум - чтобы от ODS в лидерборд ворвалась пара новых команд. После того как baseline будет опубликован - делиться своими решениями в большом конкурсе не обязательно (но в рамках ML тренировки, уже после того как вас наградят - всегда вас будем ждать).

В общем, задача хардкорная. Однако, на хардкор уровнях и опыта тоже дают побольше. Плюс чисто статистически, шансы на золото и славу тоже есть :)

Ссылки 

Канал в ODS slack 
Тренажёр-сабмитилка на ODS 
Основная страница конкурса со всей информацией, датам и положениями 
 

Our website uses cookies, including web analytics services. By using the website, you consent to the processing of personal data using cookies. You can find out more about the processing of personal data in the Privacy policy