<h3>Задача</h3>

Вам нужно разработать алгоритм, который способен распознать рукописный текст в школьных тетрадях. В качестве входных данных вам будут предоставлены фотографии целых листов. Предсказание модели &mdash; список распознанных строк с координатами полигонов и получившимся текстом.

Мы видим итоговый алгоритм как последовательность двух моделей: сегментации и распознавания. Сначала сегментационная модель предсказывает полигоны маски каждого слова на фото. Затем эти слова вырезаются из изображения по контуру маски (получаются кропы на каждое слово) и подаются в модель распознавания. В итоге получается список распознанных слов с их координатами.

При работе с предоставленными данными поcтарайтесь глубже погрузиться в них и попробовать различные аугментации. Но самое главное: подружите вместе две отдельных модели сегментации и распознавания, для получения качественной и эффективной общей системы.

<h3>Формат решений</h3>

Содержимое контейнера 
В проверяющую систему необходимо отправить код алгоритма, запакованный в ZIP-архив. Решения запускаются в изолированном окружении при помощи Docker. Время и ресурсы во время тестирования ограничены. 
В корне архива обязательно должен быть файл metadata.json со структурой:

<pre>
<code class="language-bash">{
 "image": "&lt;docker image&gt;",
 "entry_point": "&lt;entry point or sh script&gt;"
}</code></pre>

Например:

<pre>
<code class="language-bash">{
 "image": "skalinin1/baseline-ocr-segm:latest",
 "entry_point": "python run.py"
}</code></pre>

Здесь image &ndash; поле с названием docker-образа, в котором будет запускаться решение, entry_point &ndash; команда, при помощи которой запускается скрипт инференса. Решение запускается в Docker контейнере. Вы можете воспользоваться готовым образом &quot;skalinin1/baseline-ocr-segm:latest&quot; (создан на основе Dockerfile и requirements.txt, которые находятся в репозитории). При желании вы можете использовать свой образ, выложив его на https://hub.docker.com.

<h3>Структура данных</h3>

В контейнер помещается папка images, в которой находятся изображения, на которых необходимо сделать предсказания. Модель должна сформировать файл предсказания формата json, который содержит предсказания для каждого изображения из папки images. Пример содержимого json файла, который должен быть сгенерирован:

<pre>
<code class="language-bash">{
"img_0.jpg": {
 "predictions": [
 {
 "polygon": [
 [0, 0],
 [0, 1],
 [1, 0],
 [1, 1]
 ],
 "text": "test"
 }
 ]
 }
 "img_1.jpg": {
 "predictions": [
 ...
 ]
 }
}</code></pre>

 
Пути к данным для изображений (полный путь к папке images) и путь, куда необходимо сохранить результат (файл формата .json) передаются как первые два аргумента при запуске вашего решения. Их можно считать с помощью sys.argv[1:].

<h3>Пример решения</h3>

Вам доступен архив sample_submission.zip, в котором содержатся примеры загружаемого решения. В архиве вы найдете следующие файлы:

<ul>
<li>metadata.json - обязательный файл для каждого решения; в нём должны быть указаны пути к образу и скрипту выполнения модели</li>
<li>run.py - основной скрипт для инференса модели</li>
<li>segm-model_final.pth и ocr-model-last.ckpt - веса моделей сегментации и OCR, которые подгружаются во время исполнения скрипта run.py</li>
</ul>

Для корректной проверки ваш сабмит должен иметь аналогичную структуру.

Доступные ресурсы

<ul>
<li>8 ядер CPU</li>
<li>48Gb RAM</li>
<li>Видеокарта NVidia Tesla V100</li>
</ul>

Ограничения:

<ul>
<li>5Gb на архив с решением</li>
<li>25 минут на работу решения</li>
</ul>

<h3> 
Метрика</h3>

Метрика качества оценки решений определена в скрипте <code>evaluate.py</code> и представляет собой расчет CER для OCR-модели из пайплайна. По сути вы предсказываете для каждого изображения список - координаты и перевод найденных слов. Так как текст распознается на предсказанных моделью полигонах, чтобы понять с каким текстом сравнивать предсказанный моделью, нужно соотнести предсказанные полигоны с ground truth полигонами.

Скрипт evaluate.py для каждого gt-полигона из тетради ищет соответствующий ему предсказанный полигон. Из предсказанных полигонов выбирается тот, который имеет наибольшее пересечение по IoU с gt-полигоном (при этом IoU должно быть больше нуля). Таким образом gt-текст из данного полигона соотносится с предсказанным текстом. Это true positive предсказания.

False negative случаи: если для gt-полигона не был сопоставлен предсказанный полигон, то предсказанный текст для такого полигона устанавливается как пустой <code>&quot;&quot;</code> (т.к. пайплайн не предсказал текст там, где он должен быть).

Для всех false positive предсказанных полигонов (т.е. тех, для которых отсутствуют gt-полигоны) gt-текст устанавливается как пустой <code>&quot;&quot;</code> (т.к. пайплайн предсказал текст там, где его нет).

CER считается по следующей формуле:

$$CER = \frac{\sum\limits_{i=1}^n dist_c (pred_i, true_i)}{\sum\limits_{i=1}^n len_c (true_i)}$$

Здесь $dist_c$ - это расстояние Левенштейна, посчитанное для токенов-символов (включая пробелы), $len_c$ - длина строки в символах. 
Метрика CER изменяется от 0 до 1, где 0 &ndash; наилучшее значение, 1 - наихудшее.

 
IoU &ndash; это метрика, которая оценивает степень пересечения между двумя масками (предсказанной и правильной). Она вычисляется как отношение площади пересечения к площади объединения этих двух масок: 
$$IoU&nbsp;= \frac{Intersection}{Union}$$

<h3>Baseline</h3>

Вам доступно базовое решение от разработчиков задачи.&nbsp;Все необходимые данные лежат в архиве <code>data.zip</code>. 
В файле <code>baseline.ipynb</code> представлен подход разработчиков задачи к объединению моделей сегментации и распознавания текста. Данный алгоритм не содержит обучение, только объединение 2 уже обученных моделей. Для обучения моделей можно воспользоваться бейзлайнами из первых двух частей олимпиады, в них содержится полный пайплайн обучения (файлы <code>baseline_segmentation.ipynb</code> и <code>baseline_recognition.ipynb</code>)Для запуска бейзлайна скачайте данные для обучения, должна получиться следующая структура:

<ul>
<li>baseline.ipynb (основной бейзлайн для текущего хакатона - объединение двух моделей)</li>
<li>segm-model_final.pth (веса модели сегментации)</li>
<li>ocr-model-last.ckpt (веса модели детекции)</li>
<li>baseline_segmentation.ipynb (бейзлайн из 1-ой части олимпиады)</li>
<li>baseline_recognition.ipynb (бейзлайн из 2-ой части олимпиады)</li>
<li>train_segmentation
<ul>
<li>images</li>
<li>annotations.json</li>
<li>annotations_extended.json</li>
<li>binary.npz</li>
</ul>
</li>
<li>train_recognition
<ul>
<li>images</li>
<li>labels.csv</li>
</ul>
</li>
</ul>

Файл <code>baseline_segmentation.ipynb</code> содержит базовое решение для модели сегментации текста. Для запуска модели скачайте данные для обучения и положите их в папку <code>train_segmentation</code>.&nbsp; 
Файл <code>baseline_recognition.ipynb</code> содержит базовое решение для модели распознавания текста. Для запуска модели скачайте данные для обучения и положите их в папку <code>train_recognition</code>.&nbsp;

&nbsp;

В дополнительных материалах вы можете найти ссылки на первый и второй этапы олимпиады с подробным описанием задач.

&nbsp;

<h3>Полезные материалы</h3>

<ul>
<li><a href="https://youtu.be/mlm2xAg-JpY" rel="noopener noreferrer" target="_blank">Разбор базового решения для модели сегментации</a></li>
<li><a href="https://youtu.be/X7hu8vMM1-s" rel="noopener noreferrer" target="_blank">Разбор базового решения для модели распознавания</a></li>
<li><a href="https://youtu.be/KwVfwnlzLpE" rel="noopener noreferrer" target="_blank">Как собрать докер на примере задачи сегментации</a></li>
<li><a href="https://stepik.org/course/104214" rel="noopener noreferrer" target="_blank">Образовательный интенсив</a> от Академии искусственного интеллекта для школьников и Практик будущего</li>
<li><a href="https://ods.ai/tracks/ai-nto-track/competitions/ai-nto-task1" rel="noopener noreferrer" target="_blank">Задача 1</a>&nbsp;(второй этап Национальной технической олимпиады)</li>
<li><a href="https://ods.ai/tracks/ai-nto-track/competitions/ai-nto-task2" rel="noopener noreferrer" target="_blank">Задача 2</a>&nbsp;(второй этап Национальной технической олимпиады)</li>
</ul>

Распознавание рукописного текста в школьных тетрадях

Public

Private

User agreement

Я прочитал(-а) и согласен(-на) с <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/UserAgreement.pdf" rel="noopener noreferrer" target="_blank">Пользовательским соглашением и Политикой конфиденциальности</a>

Personal data

Я даю свое <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/PersonalData.pdf" rel="noopener noreferrer" target="_blank">согласие</a> ООО &ldquo;Соревнования Анализа Данных&rdquo; на обработку и передачу моих персональных данных партнерам мероприятия для информационного взаимодействия

Contest Rules

Согласен (-на) с <a href="https://storage.yandexcloud.net/ds-events/ai-academy2022/Notebook_recognition_Competition_Rules.pdf" rel="noopener noreferrer" target="_blank">Правилами Конкурса</a>

Соревнование организовано в рамках проекта &quot;Академия скусственного интеллекта для школьников&quot; и открыто для всех желающих, кому на момент регистрации еще не исполнилось 18 лет.

Задача разработана SberAI.

email

Email

first_name

First name

last_name

Last name

middle_name

Middle name

is_underage

Underage

legal_representative_first_name

Legal representative First name

legal_representative_last_name

Legal representative Last name

legal_representative_middle_name

Legal representative Middle name

legal_representative_email

Legal representative Email

Регистрационная форма на соревнование AI-Academy Contest

#	Teams (47)	Custom CER	Last	Entries
1	cene655	0.1336993806	2y	24
2	Gerasimov Maxim	0.1449011985	2y	30
3	deus toefL brah	0.1498364015	2y	26
4	изи 2 мака	0.1567400648	2y	19
5	Андрей Кузнецов	0.1614738865	2y	42
6	Ilia Kuleshov	0.173221702	2y	5
7	Sergey Volnov	0.1735783632	2y	7
8	Dmitriy Kutsenko	0.1793873795	2y	21
9	werserk	0.179948329	2y	11
10	Vladimir Vorobev	0.199792195	2y	18
11	Infin	0.2213491978	2y	12
12	Pavel Ilin	0.2254750223	2y	14
13	Nikita Romanov	0.2305040962	2y	3
14	Misha Murzaev	0.2332361825	2y	8
15	Shaleen Bhartiya	0.2376040105	2y	14
16	Timofei Silaev	0.2420026287	2y	9
17	Valery Tamrazov	0.2431491447	2y	2
18	Aleksandr Shteinman	0.259364868	2y	6
19	Viakhirev Ivan	0.2628633607	2y	19
20	Team data has been deleted	0.28681592	2y	7
21	Aleksandr Boldyrev	0.3087163927	2y	11
22	Vladimir Melnikov	0.3100546329	2y	7
23	cspdarknet53	0.3320440837	2y	3
24	Andrew Teplov	0.3379277339	2y	11
25	Danil Fedorov	0.3684318028	2y	1
26	Creative Pixel	0.3855723554	2y	18
27	p parker	0.4368501795	2y	2
28	Edward Fio	0.5094447149	2y	4
29	Kyle Cherry	0.5431813035	2y	2
30	Semyon Kolodkin	0.6028057959	2y	4
31	Egor Yakovlev	0.6299374133	2y	1
32	Dmitriy Shalanov	0.6918645481	2y	1
33	Daniil Zinovev	0.6990506325	2y	7
34	ушел плавать с дельфинами	0.7078178268	2y	5
35	Lidiia Davydova	0.7234101177	2y	3
36	Ошибся	0.7295953669	2y	2
37	Kirill Cymbaliuk	0.7357344639	2y	3
38	Andrei Kozodoi	0.7389595471	2y	3
OOC	OOC Narek Maloyan	0.7490677379	2y	6
39	Anshuman Tekriwal	0.7490677379	2y	5
40	Timofey Plotnikov	0.7490677379	2y	1
41	Mihail Yasnov	0.7490677379	2y	1
42	Konstantin Krasov	0.7490677379	2y	1
43	Egor Varavka	0.7490677379	2y	1
44	Daria Fidlobabovich	0.8129530278	2y	2
45	Daniyar Amadaliev	1.6841538074	2y	5
46	Nikita Konovalov	1.8446499017	2y	4