<h3>Задача</h3>

Вам нужно разработать алгоритм, который способен распознать рукописный текст в школьных тетрадях. В качестве входных данных вам будут предоставлены фотографии целых листов. Предсказание модели &mdash; список распознанных строк с координатами полигонов и получившимся текстом.

Несмотря на схожесть задачи заключительного этапа с образовательным хакатоном, в котором вы могли принимать участие в феврале, вас ждет пара усложнений:&nbsp;

<ol>
<li>Вас ждет намного больше уникальных стилей в тестовых датасетах, соответственно задача усложняется - придумайте модель, которая способна приспособиться к абсолютно любому почерку в школьных тетрадях!</li>
<li>В выборку добавлен английский язык, так что теперь ваша модель должна быть билингвальной.</li>
</ol>

Мы видим итоговый алгоритм как последовательность двух моделей: сегментации и распознавания. Сначала сегментационная модель предсказывает полигоны маски каждого слова на фото. Затем эти слова вырезаются из изображения по контуру маски (получаются кропы на каждое слово) и подаются в модель распознавания. В итоге получается список распознанных слов с их координатами.

При работе с предоставленными данными поcтарайтесь глубже погрузиться в них и попробовать различные аугментации. Но самое главное: подружите вместе две отдельных модели сегментации и распознавания, для получения качественной и эффективной общей системы.

Материалы, которые могут помочь справиться с задачей:&nbsp;

<ul>
<li><a href="https://youtu.be/mlm2xAg-JpY" rel="noopener noreferrer" target="_blank">Разбор базового решения для модели сегментации</a></li>
<li><a href="https://youtu.be/X7hu8vMM1-s" rel="noopener noreferrer" target="_blank">Разбор базового решения для модели распознавания</a></li>
<li><a href="https://youtu.be/KwVfwnlzLpE" rel="noopener noreferrer" target="_blank">Как собрать докер на примере задачи сегментации</a></li>
<li><a href="https://youtu.be/CQqR5NRvek0" rel="noopener noreferrer" target="_blank">5 идей для решения задач на распознавание текста</a></li>
<li><a href="https://youtu.be/gk20-o2Aktw" rel="noopener noreferrer" target="_blank">Несколько советов от Марка для прошедшего хакатона&nbsp;</a></li>
</ul>

<h3>Формат решений</h3>

В проверяющую систему необходимо отправить код алгоритма, запакованный в ZIP-архив. Решения запускаются в изолированном окружении при помощи Docker. Время и ресурсы во время тестирования ограничены. 
В корне архива обязательно должен быть файл <code>metadata.json</code> со структурой:

<pre>
<code class="language-bash">{
    "image": "&lt;docker image&gt;",
    "entry_point": "&lt;entry point or sh script&gt;"
}</code></pre>

Например:

<pre>
<code class="language-bash">{
    "image": "skalinin1/baseline-ocr-segm:latest",
    "entry_point": "python run.py"
}</code></pre>

Здесь <code>image</code> &ndash; поле с названием docker-образа, в котором будет запускаться решение, <code>entry_point</code> &ndash; команда, при помощи которой запускается скрипт инференса. Решение запускается в Docker контейнере. Вы можете воспользоваться готовым образом <code>&quot;skalinin1/baseline-ocr-segm:latest&quot;</code> (создан на основе Dockerfile и <code>requirements.txt</code>, которые находятся в репозитории). При желании вы можете использовать свой образ, выложив его на <a href="https://hub.docker.com" rel="noopener noreferrer" target="_blank">https://hub.docker.com</a>.

<h3>Структура данных</h3>

В контейнер помещается папка <code>images</code>, в которой находятся изображения, на которых необходимо сделать предсказания. Модель должна сформировать файл предсказания формата <code>json</code>, который содержит предсказания для каждого изображения из папки <code>images</code>. Пример содержимого <code>json</code> файла, который должен быть сгенерирован:

<pre>
<code class="language-bash">{
"img_0.jpg": {
        "predictions": [
            {
                "polygon": [
                    [0, 0],
                    [0, 1],
                    [1, 0],
                    [1, 1]
                ],
                "text": "test"
            }
        ]
    }
    "img_1.jpg": {
    "predictions": [
    ...
    ]
    }
}</code></pre>

Пути к данным для изображений (полный путь к папке images) и путь, куда необходимо сохранить результат (файл формата <code>.json</code>) передаются как первые два аргумента при запуске вашего решения. Их можно считать с помощью <code>sys.argv[1:]</code>.

Пример решения 
Вам доступен архив <code>sample_submission.zip</code>, в котором содержатся примеры загружаемого решения. В архиве вы найдете следующие файлы: 
По данной <a href="https://drive.google.com/file/d/1vaALJAqlmiF-AyOgBjoUgNpNxcm83sd8/view?usp=sharing" rel="noopener noreferrer" target="_blank">ссылке</a> находится архив <code>sample_submission.zip</code>, в котором содержатся примеры загружаемого решения. Следующие файлы в загружаемом архиве необходимы для формирования предсказаний модели:

<ul>
<li><code>metadata.json</code> - обязательный файл для каждого решения; в нём должны быть указаны пути к образу и скрипту выполнения модели</li>
<li><code>run.py</code> - основной скрипт для инференса модели</li>
<li><code>segm-model_final.pth</code> и <code>ocr-model-last.ckpt</code> - веса моделей сегментации и OCR, которые подгружаются во время исполнения скрипта <code>run.py</code></li>
</ul>

Для корректной проверки ваш сабмит должен иметь аналогичную структуру.

Доступные ресурсы: 
8 ядер CPU 
48Gb RAM 
Видеокарта NVidia Tesla V100

Ограничения: 
5Gb на архив с решением 
25 минут на работу решения

<h3>Метрика</h3>

Метрика качества оценки решений определена в скрипте <code>evaluate.py</code> и представляет собой расчет CER для OCR-модели из пайплайна.

Так как текст распознается на предсказанных моделью полигонах, чтобы понять с каким текстом сравнивать предсказанный моделью, нужно соотнести предсказанные полигоны с ground truth полигонами.

Скрипт <code>evaluate.py</code> для каждого gt-полигона из тетради ищет соответствующий ему предсказанный полигон. Из предсказанных полигонов выбирается тот, который имеет наибольшее пересечение по IoU с gt-полигоном (при этом IoU должно быть больше нуля). Таким образом gt-текст из данного полигона соотносится с предсказанным текстом. Это true positive предсказания.

False negative случаи: если для gt-полигона не был сопоставлен предсказанный полигон, то предсказанный текст для такого полигона устанавливается как пустой &quot;&quot; (т.к. пайплайн не предсказал текст там, где он должен быть).

Для всех false positive предсказанных полигонов (т.е. тех, для которых отсутствуют gt-полигоны) gt-текст устанавливается как пустой &quot;&quot; (т.к. пайплайн предсказал текст там, где его нет).

CER считается по следующей формуле:

$$CER = \frac{\sum\limits_{i=1}^n dist_c (pred_i, true_i)}{\sum\limits_{i=1}^n len_c (true_i)}$$

Здесь $dist_c$ - это расстояние Левенштейна, посчитанное для токенов-символов (включая пробелы), $len_c$ - длина строки в символах. 
Метрика CER изменяется от 0 до 1, где 0 &ndash; наилучшее значение, 1 - наихудшее.

IoU &ndash; это метрика, которая оценивает степень пересечения между двумя масками (предсказанной и правильной). Она вычисляется как отношение площади пересечения к площади объединения этих двух масок: 
$$IoU&nbsp;= \frac{Intersection}{Union}$$

<h3>Baseline</h3>

Вам доступно базовое решение от разработчиков задачи.&nbsp; 
В файле <code>baseline.ipynb</code> представлен подход разработчиков задачи к объединению моделей сегментации и распознавания текста. Данный алгоритм не содержит обучение, только объединение 2 уже обученных моделей. Для запуска бейзлайна скачайте данные для обучения, должна получиться следующая структура:

<ul>
<li>baseline.ipynb (основной бейзлайн для текущего хакатона - объединение двух моделей)</li>
<li>segm-model_final.pth (веса модели сегментации)</li>
<li>ocr-model-last.ckpt (веса модели детекции)</li>
<li>baseline_segmentation.ipynb (бейзлайн из 1-ой части олимпиады)</li>
<li>baseline_recognition.ipynb (бейзлайн из 2-ой части олимпиады)</li>
<li>train_segmentation
<ul>
<li>images</li>
<li>annotations.json</li>
<li>annotations_extended.json</li>
<li>binary.npz</li>
</ul>
</li>
<li>train_recognition
<ul>
<li>images</li>
<li>labels.csv</li>
</ul>
</li>
</ul>

Файл <code>baseline_segmentation.ipynb содержит базовое решение для модели сегментации текста. Для запуска модели скачайте данные для обучения и положите их в папку train_segmentation.&nbsp;</code> 
<code>Файл baseline_recognition.ipynb содержит базовое решение для модели распознавания текста. Для запуска модели скачайте данные для обучения и положите их в папку train_recognition.&nbsp;</code>

&nbsp;

Распознайте рукописный текст на фото

Public

User agreement

Я прочитал(-а) и согласен(-на) с <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/PersonalData.pdf" rel="noopener noreferrer" target="_blank">Пользовательским соглашением и Политикой конфиденциальности</a>

Personal data

Я даю свое <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/UserAgreement.pdf" rel="noopener noreferrer" target="_blank">согласие</a> ООО &ldquo;Соревнования Анализа Данных&rdquo; на обработку и передачу моих персональных данных партнерам мероприятия для информационного взаимодействия

Contest Rules

Согласен (-на) с <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/ContestRules.pdf" rel="noopener noreferrer" target="_blank">Правилами Конкурса</a>

Вы попали на страницу регистрации на соревнования профиля &laquo;Искусственный интеллект&raquo; Национальной технологической олимпиады 2021/22. При регистрации указывайте ту же электронную почту и корректные ФИО, которые вы указывали при регистрации на НТО. &nbsp; 
Обращаем внимание, что к участию во втором этапе НТО допускаются все участники, набравшие в первом этапе баллы выше порогового значения, установленного профилем, призеры и победители партнерских соревнований, призёры и победители указанных профилями соревнований, финалисты, призеры и победители олимпиады прошлого года по настоящему профилю, зарегистрированные на платформе НТО. 
В случае нарушения правил вы будете дисквалифицированы, а результаты не будут учтены. 
&nbsp;

email

Email

first_name

First name

last_name

Last name

middle_name

Middle name

is_underage

Underage

legal_representative_first_name

Legal representative First name

legal_representative_last_name

Legal representative Last name

legal_representative_middle_name

Legal representative Middle name

legal_representative_email

Legal representative Email

Registration application for competitions of the profile «Artificial Intelligence» of the National Technology Olympiad 2021/22

Заключительный этап профиля “Искусственный интеллект” НТО

#	Teams (43)	Custom CER	Last	Entries
1	Градиентное погружение	0.1088868544	19m	16
2	Твердые аккорды	0.113471623	19m	16
3	Baby Kagglers Deus Lab	0.1205030987	19m	11
4	prodam_garage	0.1251099122	19m	19
5	average_team_name	0.1273020147	19m	10
6	MLшарики	0.1338995492	19m	6
7	слабоумие и отвага reborn	0.1373159693	19m	12
8	Союз юмористов	0.1717416404	19m	10
9	Dinero	0.1771526686	19m	8
10	ЭЭЭЭЭль примо	0.2021516436	19m	8
11	Golden Bots	0.205603297	19m	6
12	Плюшевая панда	0.2076366431	19m	10
13	FSD	0.208933809	19m	6
14	Продам спящего тиммейта	0.2160011024	19m	14
15	TWO GIGACHAD FLOPPAS	0.2210597776	19m	12
16	CSPMaster300	0.2222454791	19m	5
17	Neuron Network Writers	0.2228838067	19m	8
18	2ML9	0.2236923799	19m	11
19	VarTeam	0.2242511344	19m	6
20	Dark LED Team	0.256307837	19m	3
21	DeepVision	0.2585748853	19m	1
22	The Emperium	0.2673591058	19m	12
23	Swin-o-tron 2	0.2795394652	19m	4
24	-Baby Kagglers- СЕЛЬСКИЕ БОМБИЛЫ	0.2803965522	19m	8
25	prog_house	0.2842870308	19m	8
26	AI Masters	0.2958615021	19m	3
27	fmproducts	0.3111546345	19m	3
28	Нейроцепочка	0.3180942915	19m	11
29	Hackermans	0.3259044725	19m	8
30	Два ядра два гига	0.3788247639	19m	8
31	Маневренные досады	0.3825418648	19m	3
32	void team	0.4003361741	19m	4
33	Ы - так звали людоеда и отца его и деда	0.4314814855	19m	14
34	бобы	0.4455284513	19m	4
35	Название_команды	0.4649476646	19m	5
36	Нашли кота	0.4775918428	19m	4
37	Канапе	0.4819113462	19m	12
38	Бинарные автократы	0.683808346	19m	4
39	Кулхацкеры	0.7355948573	19m	3
40	Внеклеточные бароны	0.7355948573	19m	2
OOC	OOC Narek Maloyan	0.7744580328	20m	1
41	А мы хотели на Бродвей	1	19m	2
42	Owls	1.0082931375	19m	5