<h3>Задача</h3>

Вам нужно разработать алгоритм, который способен распознать рукописный текст в школьных тетрадях. В качестве входных данных вам будут предоставлены фотографии целых листов. Предсказание модели &mdash; список распознанных строк с координатами полигонов и получившимся текстом.

Несмотря на схожесть задачи заключительного этапа с образовательным хакатоном, в котором вы могли принимать участие в феврале, вас ждет пара усложнений:&nbsp;

<ol>
<li>Вас ждет намного больше уникальных стилей в тестовых датасетах, соответственно задача усложняется - придумайте модель, которая способна приспособиться к абсолютно любому почерку в школьных тетрадях!</li>
<li>В выборку добавлен английский язык, так что теперь ваша модель должна быть билингвальной.</li>
</ol>

Мы видим итоговый алгоритм как последовательность двух моделей: сегментации и распознавания. Сначала сегментационная модель предсказывает полигоны маски каждого слова на фото. Затем эти слова вырезаются из изображения по контуру маски (получаются кропы на каждое слово) и подаются в модель распознавания. В итоге получается список распознанных слов с их координатами.

При работе с предоставленными данными поcтарайтесь глубже погрузиться в них и попробовать различные аугментации. Но самое главное: подружите вместе две отдельных модели сегментации и распознавания, для получения качественной и эффективной общей системы.

Материалы, которые могут помочь справиться с задачей:&nbsp;

<ul>
<li><a href="https://youtu.be/mlm2xAg-JpY" rel="noopener noreferrer" target="_blank">Разбор базового решения для модели сегментации</a></li>
<li><a href="https://youtu.be/X7hu8vMM1-s" rel="noopener noreferrer" target="_blank">Разбор базового решения для модели распознавания</a></li>
<li><a href="https://youtu.be/KwVfwnlzLpE" rel="noopener noreferrer" target="_blank">Как собрать докер на примере задачи сегментации</a></li>
<li><a href="https://youtu.be/CQqR5NRvek0" rel="noopener noreferrer" target="_blank">5 идей для решения задач на распознавание текста</a></li>
<li><a href="https://youtu.be/gk20-o2Aktw" rel="noopener noreferrer" target="_blank">Несколько советов от Марка для прошедшего хакатона&nbsp;</a></li>
</ul>

<h3>Формат решений</h3>

В проверяющую систему необходимо отправить код алгоритма, запакованный в ZIP-архив. Решения запускаются в изолированном окружении при помощи Docker. Время и ресурсы во время тестирования ограничены. 
В корне архива обязательно должен быть файл <code>metadata.json</code> со структурой:

<pre>
<code class="language-bash">{
    "image": "&lt;docker image&gt;",
    "entry_point": "&lt;entry point or sh script&gt;"
}</code></pre>

Например:

<pre>
<code class="language-bash">{
    "image": "skalinin1/baseline-ocr-segm:latest",
    "entry_point": "python run.py"
}</code></pre>

Здесь <code>image</code> &ndash; поле с названием docker-образа, в котором будет запускаться решение, <code>entry_point</code> &ndash; команда, при помощи которой запускается скрипт инференса. Решение запускается в Docker контейнере. Вы можете воспользоваться готовым образом <code>&quot;skalinin1/baseline-ocr-segm:latest&quot;</code> (создан на основе Dockerfile и <code>requirements.txt</code>, которые находятся в репозитории). При желании вы можете использовать свой образ, выложив его на <a href="https://hub.docker.com" rel="noopener noreferrer" target="_blank">https://hub.docker.com</a>.

<h3>Структура данных</h3>

В контейнер помещается папка <code>images</code>, в которой находятся изображения, на которых необходимо сделать предсказания. Модель должна сформировать файл предсказания формата <code>json</code>, который содержит предсказания для каждого изображения из папки <code>images</code>. Пример содержимого <code>json</code> файла, который должен быть сгенерирован:

<pre>
<code class="language-bash">{
"img_0.jpg": {
        "predictions": [
            {
                "polygon": [
                    [0, 0],
                    [0, 1],
                    [1, 0],
                    [1, 1]
                ],
                "text": "test"
            }
        ]
    }
    "img_1.jpg": {
    "predictions": [
    ...
    ]
    }
}</code></pre>

Пути к данным для изображений (полный путь к папке images) и путь, куда необходимо сохранить результат (файл формата <code>.json</code>) передаются как первые два аргумента при запуске вашего решения. Их можно считать с помощью <code>sys.argv[1:]</code>.

Пример решения 
Вам доступен архив <code>sample_submission.zip</code>, в котором содержатся примеры загружаемого решения. В архиве вы найдете следующие файлы: 
По данной <a href="https://drive.google.com/file/d/1vaALJAqlmiF-AyOgBjoUgNpNxcm83sd8/view?usp=sharing" rel="noopener noreferrer" target="_blank">ссылке</a> находится архив <code>sample_submission.zip</code>, в котором содержатся примеры загружаемого решения. Следующие файлы в загружаемом архиве необходимы для формирования предсказаний модели:

<ul>
<li><code>metadata.json</code> - обязательный файл для каждого решения; в нём должны быть указаны пути к образу и скрипту выполнения модели</li>
<li><code>run.py</code> - основной скрипт для инференса модели</li>
<li><code>segm-model_final.pth</code> и <code>ocr-model-last.ckpt</code> - веса моделей сегментации и OCR, которые подгружаются во время исполнения скрипта <code>run.py</code></li>
</ul>

Для корректной проверки ваш сабмит должен иметь аналогичную структуру.

Доступные ресурсы: 
8 ядер CPU 
48Gb RAM 
Видеокарта NVidia Tesla V100

Ограничения: 
5Gb на архив с решением 
25 минут на работу решения

<h3>Метрика</h3>

Метрика качества оценки решений определена в скрипте <code>evaluate.py</code> и представляет собой расчет CER для OCR-модели из пайплайна.

Так как текст распознается на предсказанных моделью полигонах, чтобы понять с каким текстом сравнивать предсказанный моделью, нужно соотнести предсказанные полигоны с ground truth полигонами.

Скрипт <code>evaluate.py</code> для каждого gt-полигона из тетради ищет соответствующий ему предсказанный полигон. Из предсказанных полигонов выбирается тот, который имеет наибольшее пересечение по IoU с gt-полигоном (при этом IoU должно быть больше нуля). Таким образом gt-текст из данного полигона соотносится с предсказанным текстом. Это true positive предсказания.

False negative случаи: если для gt-полигона не был сопоставлен предсказанный полигон, то предсказанный текст для такого полигона устанавливается как пустой &quot;&quot; (т.к. пайплайн не предсказал текст там, где он должен быть).

Для всех false positive предсказанных полигонов (т.е. тех, для которых отсутствуют gt-полигоны) gt-текст устанавливается как пустой &quot;&quot; (т.к. пайплайн предсказал текст там, где его нет).

CER считается по следующей формуле:

$$CER = \frac{\sum\limits_{i=1}^n dist_c (pred_i, true_i)}{\sum\limits_{i=1}^n len_c (true_i)}$$

Здесь $dist_c$ - это расстояние Левенштейна, посчитанное для токенов-символов (включая пробелы), $len_c$ - длина строки в символах. 
Метрика CER изменяется от 0 до 1, где 0 &ndash; наилучшее значение, 1 - наихудшее.

IoU &ndash; это метрика, которая оценивает степень пересечения между двумя масками (предсказанной и правильной). Она вычисляется как отношение площади пересечения к площади объединения этих двух масок: 
$$IoU&nbsp;= \frac{Intersection}{Union}$$

<h3>Baseline</h3>

Вам доступно базовое решение от разработчиков задачи.&nbsp; 
В файле <code>baseline.ipynb</code> представлен подход разработчиков задачи к объединению моделей сегментации и распознавания текста. Данный алгоритм не содержит обучение, только объединение 2 уже обученных моделей. Для запуска бейзлайна скачайте данные для обучения, должна получиться следующая структура:

<ul>
<li>baseline.ipynb (основной бейзлайн для текущего хакатона - объединение двух моделей)</li>
<li>segm-model_final.pth (веса модели сегментации)</li>
<li>ocr-model-last.ckpt (веса модели детекции)</li>
<li>baseline_segmentation.ipynb (бейзлайн из 1-ой части олимпиады)</li>
<li>baseline_recognition.ipynb (бейзлайн из 2-ой части олимпиады)</li>
<li>train_segmentation
<ul>
<li>images</li>
<li>annotations.json</li>
<li>annotations_extended.json</li>
<li>binary.npz</li>
</ul>
</li>
<li>train_recognition
<ul>
<li>images</li>
<li>labels.csv</li>
</ul>
</li>
</ul>

Файл <code>baseline_segmentation.ipynb содержит базовое решение для модели сегментации текста. Для запуска модели скачайте данные для обучения и положите их в папку train_segmentation.&nbsp;</code> 
<code>Файл baseline_recognition.ipynb содержит базовое решение для модели распознавания текста. Для запуска модели скачайте данные для обучения и положите их в папку train_recognition.&nbsp;</code>

&nbsp;

Распознайте рукописный текст на фото

Public

User agreement

Я прочитал(-а) и согласен(-на) с <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/PersonalData.pdf" rel="noopener noreferrer" target="_blank">Пользовательским соглашением и Политикой конфиденциальности</a>

Personal data

Я даю свое <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/UserAgreement.pdf" rel="noopener noreferrer" target="_blank">согласие</a> ООО &ldquo;Соревнования Анализа Данных&rdquo; на обработку и передачу моих персональных данных партнерам мероприятия для информационного взаимодействия

Contest Rules

Согласен (-на) с <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/ContestRules.pdf" rel="noopener noreferrer" target="_blank">Правилами Конкурса</a>

Вы попали на страницу регистрации на соревнования профиля &laquo;Искусственный интеллект&raquo; Национальной технологической олимпиады 2021/22. При регистрации указывайте ту же электронную почту и корректные ФИО, которые вы указывали при регистрации на НТО. &nbsp; 
Обращаем внимание, что к участию во втором этапе НТО допускаются все участники, набравшие в первом этапе баллы выше порогового значения, установленного профилем, призеры и победители партнерских соревнований, призёры и победители указанных профилями соревнований, финалисты, призеры и победители олимпиады прошлого года по настоящему профилю, зарегистрированные на платформе НТО. 
В случае нарушения правил вы будете дисквалифицированы, а результаты не будут учтены. 
&nbsp;

email

Email

first_name

First name

last_name

Last name

middle_name

Middle name

is_underage

Underage

legal_representative_first_name

Legal representative First name

legal_representative_last_name

Legal representative Last name

legal_representative_middle_name

Legal representative Middle name

legal_representative_email

Legal representative Email

Registration application for competitions of the profile «Artificial Intelligence» of the National Technology Olympiad 2021/22

Заключительный этап профиля “Искусственный интеллект” НТО

Container

Когда заканчивается загрузка решений?&nbsp; 4 марта, 13:30 по Мск. Сколько сабмитов в день можно загружать? Вам доступно 10 сабмитов в сутки на команду.&nbsp;Когда обнуляется количество сабмитов? В полночь по Мск.Я могу не выбирать финальные сабмиты? Да, тогда в зачет пойдут два лучших сабмита на public лидерборде.Статус у сабмита “Queued”, что делать дальше? Ждать :) Ваш сабмит находится в очереди на обработку. В среднем это может занимать 30-60 минут в зависимости от количества одновременно отправленных решений. В вечернее время и в последние дни перед закрытием лидерборда, время обработки всегда увеличивается ввиду возросшего количества решений, учитывайте это при планировании работы.У меня ошибка, что делать? Перед тем как задать вопрос организаторам, убедитесь, что ваше решение работает корректно локально. Для этого необходимо привязать папку с изображениями (например, из обучающей выборки) в ваш образ при запуске. Это делается с помощью ключа <code>-v</code> при запуске докера. Затем, убедитесь, что команда указанная в <code>metadata.json</code> работает внутри образа. Для этого скопируйте ее и в конце припишите путь к изображениям, которые вы привязали в образ, а также название файла, в который будет сохраняться решение. Если локально все работает, пишите на <code>support@datasouls.com</code>