Community Baseline для РВК Про//Чтение

Про Про//Чтение

ПРО//ЧТЕНИЕ - значимый конкурс по созданию ИИ-ассистентов, способных помогать учителям выявлять логические, фактические, стилистические, смысловые и другие ошибки в сочинениях школьников на русском и английском языках. 

Эта задача неспроста была выбрана технологическим барьером - конкурс будет идти до декабря 2022 года, и спустя первый год проведения барьер взят не был. К тому же, у задачи очень высокий технический порог входа - здесь всё-таки нужен не fit-predict, а структурированная разметка различных типов ошибок. 

Также из-за одновременно и технической, и научной сложности задачи, несмотря на призовые в 200 миллионов рублей, участников пока не много. Если смотреть на лидерборд, то даже работоспособные решения (чтобы хотя бы попасть на лидерборд) за первый год отправили всего 10 команд. 

В чём идея проекта?

Есть гипотеза, что если бы мы как сообщество собрали для этой задачи нормальный baseline, то убили бы сразу несколько зайцев:

• Задача сама по себе хардкорнее некуда. Baseline был бы крутым образовательным материалом, про который и статью можно написать, и самим протестировать различные новые методы и подходы. 
• Конкурс действительно неподъемный для соло-участников, особенно без какого-либо baseline и starter-kit-а. Однако, если этот starter kit появится - это станет всего лишь вопросом времени, пока ODS не ворвётся в топ.
• Продвинув конкурс среди ODS, возможно ODS-вцы сформируют новые команды, которые смогут ворваться не только в топ, но и в призы. 

Что будем делать?

Совместно собирать baseline в рамках летней школы. У нас есть поднятый на ODS тренажёр для проверки ответов. Он сделан как первый шаг на пути к решению основной задачи конкурса:

• Это сподручный интерфейс проверки входа-выхода алгоритмов в задаче
• Уже есть расчет метрик по методике большого конкурса

Разве что денег за эти решения не дают. Но и код никто не проверяет. 

Задача минимум на ODS Summer of Code - собрать полноценный и задокументированный baseline, который сможет показать сносное качество хотя бы на ODS тренажёре. 

Задача окнорм - собрать поверх алгоритмического baseline ещё и полностью рабочий инженерный baseline для участия в полноценных испытаниях. А еще написать статью - хотя бы на Хабр.

Задача максимум - чтобы от ODS в лидерборд ворвалась пара новых команд. После того как baseline будет опубликован - делиться своими решениями в большом конкурсе не обязательно (но в рамках ML тренировки, уже после того как вас наградят - всегда вас будем ждать).

В общем, задача хардкорная. Однако, на хардкор уровнях и опыта тоже дают побольше. Плюс чисто статистически, шансы на золото и славу тоже есть :)

Ссылки 

Канал в ODS slack 
Тренажёр-сабмитилка на ODS 
Основная страница конкурса со всей информацией, датам и положениями