<h3>Задача</h3>

Вам нужно разработать алгоритм, который способен распознать рукописный текст в школьных тетрадях. В качестве входных данных вам будут предоставлены фотографии целых листов. Предсказание модели &mdash; список распознанных строк с координатами полигонов и получившимся текстом.

Несмотря на схожесть задачи заключительного этапа с образовательным хакатоном, в котором вы могли принимать участие в феврале, вас ждет пара усложнений:&nbsp;

<ol>
<li>Вас ждет намного больше уникальных стилей в тестовых датасетах, соответственно задача усложняется - придумайте модель, которая способна приспособиться к абсолютно любому почерку в школьных тетрадях!</li>
<li>В выборку добавлен английский язык, так что теперь ваша модель должна быть билингвальной.</li>
</ol>

Мы видим итоговый алгоритм как последовательность двух моделей: сегментации и распознавания. Сначала сегментационная модель предсказывает полигоны маски каждого слова на фото. Затем эти слова вырезаются из изображения по контуру маски (получаются кропы на каждое слово) и подаются в модель распознавания. В итоге получается список распознанных слов с их координатами.

При работе с предоставленными данными поcтарайтесь глубже погрузиться в них и попробовать различные аугментации. Но самое главное: подружите вместе две отдельных модели сегментации и распознавания, для получения качественной и эффективной общей системы.

Материалы, которые могут помочь справиться с задачей:&nbsp;

<ul>
<li><a href="https://youtu.be/mlm2xAg-JpY" rel="noopener noreferrer" target="_blank">Разбор базового решения для модели сегментации</a></li>
<li><a href="https://youtu.be/X7hu8vMM1-s" rel="noopener noreferrer" target="_blank">Разбор базового решения для модели распознавания</a></li>
<li><a href="https://youtu.be/KwVfwnlzLpE" rel="noopener noreferrer" target="_blank">Как собрать докер на примере задачи сегментации</a></li>
<li><a href="https://youtu.be/CQqR5NRvek0" rel="noopener noreferrer" target="_blank">5 идей для решения задач на распознавание текста</a></li>
<li><a href="https://youtu.be/gk20-o2Aktw" rel="noopener noreferrer" target="_blank">Несколько советов от Марка для прошедшего хакатона&nbsp;</a></li>
</ul>

<h3>Формат решений</h3>

В проверяющую систему необходимо отправить код алгоритма, запакованный в ZIP-архив. Решения запускаются в изолированном окружении при помощи Docker. Время и ресурсы во время тестирования ограничены. 
В корне архива обязательно должен быть файл <code>metadata.json</code> со структурой:

<pre>
<code class="language-bash">{
    "image": "&lt;docker image&gt;",
    "entry_point": "&lt;entry point or sh script&gt;"
}</code></pre>

Например:

<pre>
<code class="language-bash">{
    "image": "skalinin1/baseline-ocr-segm:latest",
    "entry_point": "python run.py"
}</code></pre>

Здесь <code>image</code> &ndash; поле с названием docker-образа, в котором будет запускаться решение, <code>entry_point</code> &ndash; команда, при помощи которой запускается скрипт инференса. Решение запускается в Docker контейнере. Вы можете воспользоваться готовым образом <code>&quot;skalinin1/baseline-ocr-segm:latest&quot;</code> (создан на основе Dockerfile и <code>requirements.txt</code>, которые находятся в репозитории). При желании вы можете использовать свой образ, выложив его на <a href="https://hub.docker.com" rel="noopener noreferrer" target="_blank">https://hub.docker.com</a>.

<h3>Структура данных</h3>

В контейнер помещается папка <code>images</code>, в которой находятся изображения, на которых необходимо сделать предсказания. Модель должна сформировать файл предсказания формата <code>json</code>, который содержит предсказания для каждого изображения из папки <code>images</code>. Пример содержимого <code>json</code> файла, который должен быть сгенерирован:

<pre>
<code class="language-bash">{
"img_0.jpg": {
        "predictions": [
            {
                "polygon": [
                    [0, 0],
                    [0, 1],
                    [1, 0],
                    [1, 1]
                ],
                "text": "test"
            }
        ]
    }
    "img_1.jpg": {
    "predictions": [
    ...
    ]
    }
}</code></pre>

Пути к данным для изображений (полный путь к папке images) и путь, куда необходимо сохранить результат (файл формата <code>.json</code>) передаются как первые два аргумента при запуске вашего решения. Их можно считать с помощью <code>sys.argv[1:]</code>.

Пример решения 
Вам доступен архив <code>sample_submission.zip</code>, в котором содержатся примеры загружаемого решения. В архиве вы найдете следующие файлы: 
По данной <a href="https://drive.google.com/file/d/1vaALJAqlmiF-AyOgBjoUgNpNxcm83sd8/view?usp=sharing" rel="noopener noreferrer" target="_blank">ссылке</a> находится архив <code>sample_submission.zip</code>, в котором содержатся примеры загружаемого решения. Следующие файлы в загружаемом архиве необходимы для формирования предсказаний модели:

<ul>
<li><code>metadata.json</code> - обязательный файл для каждого решения; в нём должны быть указаны пути к образу и скрипту выполнения модели</li>
<li><code>run.py</code> - основной скрипт для инференса модели</li>
<li><code>segm-model_final.pth</code> и <code>ocr-model-last.ckpt</code> - веса моделей сегментации и OCR, которые подгружаются во время исполнения скрипта <code>run.py</code></li>
</ul>

Для корректной проверки ваш сабмит должен иметь аналогичную структуру.

Доступные ресурсы: 
8 ядер CPU 
48Gb RAM 
Видеокарта NVidia Tesla V100

Ограничения: 
5Gb на архив с решением 
25 минут на работу решения

<h3>Метрика</h3>

Метрика качества оценки решений определена в скрипте <code>evaluate.py</code> и представляет собой расчет CER для OCR-модели из пайплайна.

Так как текст распознается на предсказанных моделью полигонах, чтобы понять с каким текстом сравнивать предсказанный моделью, нужно соотнести предсказанные полигоны с ground truth полигонами.

Скрипт <code>evaluate.py</code> для каждого gt-полигона из тетради ищет соответствующий ему предсказанный полигон. Из предсказанных полигонов выбирается тот, который имеет наибольшее пересечение по IoU с gt-полигоном (при этом IoU должно быть больше нуля). Таким образом gt-текст из данного полигона соотносится с предсказанным текстом. Это true positive предсказания.

False negative случаи: если для gt-полигона не был сопоставлен предсказанный полигон, то предсказанный текст для такого полигона устанавливается как пустой &quot;&quot; (т.к. пайплайн не предсказал текст там, где он должен быть).

Для всех false positive предсказанных полигонов (т.е. тех, для которых отсутствуют gt-полигоны) gt-текст устанавливается как пустой &quot;&quot; (т.к. пайплайн предсказал текст там, где его нет).

CER считается по следующей формуле:

$$CER = \frac{\sum\limits_{i=1}^n dist_c (pred_i, true_i)}{\sum\limits_{i=1}^n len_c (true_i)}$$

Здесь $dist_c$ - это расстояние Левенштейна, посчитанное для токенов-символов (включая пробелы), $len_c$ - длина строки в символах. 
Метрика CER изменяется от 0 до 1, где 0 &ndash; наилучшее значение, 1 - наихудшее.

IoU &ndash; это метрика, которая оценивает степень пересечения между двумя масками (предсказанной и правильной). Она вычисляется как отношение площади пересечения к площади объединения этих двух масок: 
$$IoU&nbsp;= \frac{Intersection}{Union}$$

<h3>Baseline</h3>

Вам доступно базовое решение от разработчиков задачи.&nbsp; 
В файле <code>baseline.ipynb</code> представлен подход разработчиков задачи к объединению моделей сегментации и распознавания текста. Данный алгоритм не содержит обучение, только объединение 2 уже обученных моделей. Для запуска бейзлайна скачайте данные для обучения, должна получиться следующая структура:

<ul>
<li>baseline.ipynb (основной бейзлайн для текущего хакатона - объединение двух моделей)</li>
<li>segm-model_final.pth (веса модели сегментации)</li>
<li>ocr-model-last.ckpt (веса модели детекции)</li>
<li>baseline_segmentation.ipynb (бейзлайн из 1-ой части олимпиады)</li>
<li>baseline_recognition.ipynb (бейзлайн из 2-ой части олимпиады)</li>
<li>train_segmentation
<ul>
<li>images</li>
<li>annotations.json</li>
<li>annotations_extended.json</li>
<li>binary.npz</li>
</ul>
</li>
<li>train_recognition
<ul>
<li>images</li>
<li>labels.csv</li>
</ul>
</li>
</ul>

Файл <code>baseline_segmentation.ipynb содержит базовое решение для модели сегментации текста. Для запуска модели скачайте данные для обучения и положите их в папку train_segmentation.&nbsp;</code> 
<code>Файл baseline_recognition.ipynb содержит базовое решение для модели распознавания текста. Для запуска модели скачайте данные для обучения и положите их в папку train_recognition.&nbsp;</code>

&nbsp;

Распознайте рукописный текст на фото

Public

User agreement

Я прочитал(-а) и согласен(-на) с <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/PersonalData.pdf" rel="noopener noreferrer" target="_blank">Пользовательским соглашением и Политикой конфиденциальности</a>

Personal data

Я даю свое <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/UserAgreement.pdf" rel="noopener noreferrer" target="_blank">согласие</a> ООО &ldquo;Соревнования Анализа Данных&rdquo; на обработку и передачу моих персональных данных партнерам мероприятия для информационного взаимодействия

Contest Rules

Согласен (-на) с <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/ContestRules.pdf" rel="noopener noreferrer" target="_blank">Правилами Конкурса</a>

Вы попали на страницу регистрации на соревнования профиля &laquo;Искусственный интеллект&raquo; Национальной технологической олимпиады 2021/22. При регистрации указывайте ту же электронную почту и корректные ФИО, которые вы указывали при регистрации на НТО. &nbsp; 
Обращаем внимание, что к участию во втором этапе НТО допускаются все участники, набравшие в первом этапе баллы выше порогового значения, установленного профилем, призеры и победители партнерских соревнований, призёры и победители указанных профилями соревнований, финалисты, призеры и победители олимпиады прошлого года по настоящему профилю, зарегистрированные на платформе НТО. 
В случае нарушения правил вы будете дисквалифицированы, а результаты не будут учтены. 
&nbsp;

email

Email

first_name

First name

last_name

Last name

middle_name

Middle name

is_underage

Underage

legal_representative_first_name

Legal representative First name

legal_representative_last_name

Legal representative Last name

legal_representative_middle_name

Legal representative Middle name

legal_representative_email

Legal representative Email

Registration application for competitions of the profile «Artificial Intelligence» of the National Technology Olympiad 2021/22

Заключительный этап профиля “Искусственный интеллект” НТО

Container

Так как вам предлагается построить общую систему распознавания (сегментация + распознавание) мы предоставляем один и тот же обучающий датасет тетрадей для обучения в двух форматах: в формате первого этапа (сегментация, аннотации в формате COCO) и в формате второго этапа (распознавание, пары изображение слова и текст). При желании вы можете получить датасет для распознавания сами, используя информацию из файла аннотаций.

data.zip

Dockerfile.uu

submit.zip

Materials (6,875 MB)