<h3>Задача</h3>

Вам предстоит разработать алгоритм, который сможет распознать текст на фото.&nbsp;Предсказание модели - текстовая строка, соответствующая тексту на картинке.

<h3>Формат решений</h3>

В проверяющую систему необходимо отправить код алгоритма, запакованный в ZIP-архив. Решения запускаются в изолированном окружении при помощи Docker. Время и ресурсы во время тестирования ограничены.

В корне архива обязательно должен быть файл <code>metadata.json</code> со структурой:

<pre>
<code class="language-python">{
    "image": "&lt;docker image&gt;",
    "entry_point": "&lt;entry point or sh script&gt;"
}</code></pre>

&nbsp;

Например:

<pre>
<code class="language-python">{
    "image": "skalinin1/baseline-htr:latest",
    "entry_point": "python run.py"
}</code></pre>

&nbsp;

Здесь image &ndash; поле с названием docker-образа, в котором будет запускаться решение, entry_point &ndash; команда, при помощи которой запускается скрипт инференса. Решение запускается в Docker контейнере. Вы можете воспользоваться готовым образом &quot;skalinin1/baseline-htr:latest&quot;. Подготовленные файлы: <a href="https://storage.yandexcloud.net/datasouls-ods/images/2021/12/04/8d19291e-de3e-4db4-95c0-3c644efc596a/Dockerfile" rel="noopener noreferrer" target="_blank">Dockerfile</a> и <a href="https://storage.yandexcloud.net/datasouls-ods/images/2021/12/04/b3b5ec41-afb9-4893-a238-fc22ff3aa255/requirements.txt" rel="noopener noreferrer" target="_blank">requirements.txt</a>. При желании вы можете использовать свой образ, выложив его на <a href="https://hub.docker.com/" rel="noopener noreferrer" target="_blank">https://hub.docker.com</a>.

Доступные ресурсы

<ul>
<li>8 ядер CPU</li>
<li>48Gb RAM</li>
<li>Видеокарта NVidia Tesla V100</li>
</ul>

<h3>Ограничения:</h3>

<ul>
<li>5Gb на архив с решением</li>
<li>15 минут на работу решения</li>
</ul>

<h3>Структура данных</h3>

В контейнер помещается папка images с изображениями, на которых необходимо сделать предсказания. Модель должна сформировать файл предсказания, например, <code>prediction.json</code>.

Пути к данным для изображений (полный путь к папке images) и файл, в котором необходимо сохранить результат (путь куда нужно сохранить файл формата <code>.json</code>) передаются как первые два аргумента при запуске вашего решения. Их можно считать с помощью sys.argv[1:].

<h3>Пример решения</h3>

Вам доступен архив <code>sample_submission.zip</code>, в котором содержатся примеры загружаемого решения. В архиве вы найдете следующие файлы:

<ul>
<li><code>metadata.json</code> - обязательный файл для каждого решения; в нём должны быть указаны пути к образу и скрипту выполнения модели</li>
<li><code>run.py</code> - основной скрипт для инференса модели</li>
<li><code>model-last.ckpt</code> - веса модели, которые подгружаются во время исполнения скрипта <code>run.py</code></li>
</ul>

Для корректной проверки ваш сабмит должен иметь аналогичную структуру.&nbsp;

<h3>Метрика</h3>

UPDATE 15.12 - основная метрика для оценки была изменена с Accuracy на CER.&nbsp;

В качестве основной метрики для оценки решений участников используется метрика CER (character error rate). Считается она следующим образом:

$$CER = \frac{\sum\limits_{i=1}^n dist_c (pred_i, true_i)}{\sum\limits_{i=1}^n len_c (true_i)}$$

Здесь $dist_c$ - это расстояние Левенштейна, посчитанное для токенов-символов (включая пробелы), $len_c$ - длина строки в символах.

Метрика CER &nbsp;изменяется от 0 до 1, где 0 &ndash; наилучшее значение, 1 - наихудшее.

&nbsp;

В качестве дополнительной метрики для оценки решений участников используется метрика Accuracy - отношение количества полностью совпавших транскрибаций строк к количеству всех строк в выборке. Она будет учитываться при равенстве значений CER, а так же полезна как дополнительная информация о качестве работы модели. Считается она следующим образом:

$$Accuracy&nbsp;=&nbsp;\frac{\sum_{n=1}^{n} [pred_i = true_i]}{n}$$

Здесь <code>n</code> - размер тестовой выборки, <code>predi</code> &ndash; это строка из символов, которую распознала модель на i-ом изображении в выборке, а <code>truei</code> - это правильный перевод i-ого изображения, произведенный аннотатором, <code>[&bull;]</code> - скобка Айверсона:

$$[x = y] = \begin{cases}&nbsp;1, &amp; \mbox{} x = y\\&nbsp;0, &amp; \mbox{}x \neq y \end{cases}$$

Метрика String Accuracy изменяется от 0 до 1, где 0 &ndash; наихудшее значение, 1 - наилучшее.

<h3>Baseline</h3>

Вам доступно базовое решение от разработчиков задачи: <code>OCR_baseline.ipynb</code>

<a href="https://youtu.be/X7hu8vMM1-s" rel="noopener noreferrer" target="_blank">Разбор безлайна от разработчиков</a>&nbsp;

Для распознавания рукописного текста в бейзлайне используется архитектура CRNN и CTC-loss. Для запуска бейзлайна скачайте данные для обучения и положите их в папку data. Должна получиться такая структура:

<ul>
<li>OCR_baseline.ipynb</li>
<li>train
<ul>
<li>images</li>
<li>labels.json</li>
</ul>
</li>
</ul>

Распознавание текста на фото

Public

Private

User agreement

Я прочитал(-а) и согласен(-на) с <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/PersonalData.pdf" rel="noopener noreferrer" target="_blank">Пользовательским соглашением и Политикой конфиденциальности</a>

Personal data

Я даю свое <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/UserAgreement.pdf" rel="noopener noreferrer" target="_blank">согласие</a> ООО &ldquo;Соревнования Анализа Данных&rdquo; на обработку и передачу моих персональных данных партнерам мероприятия для информационного взаимодействия

Contest Rules

Согласен (-на) с <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/ContestRules.pdf" rel="noopener noreferrer" target="_blank">Правилами Конкурса</a>

Вы попали на страницу регистрации на соревнования профиля &laquo;Искусственный интеллект&raquo; Национальной технологической олимпиады 2021/22. При регистрации указывайте ту же электронную почту и корректные ФИО, которые вы указывали при регистрации на НТО. &nbsp; 
Обращаем внимание, что к участию во втором этапе НТО допускаются все участники, набравшие в первом этапе баллы выше порогового значения, установленного профилем, призеры и победители партнерских соревнований, призёры и победители указанных профилями соревнований, финалисты, призеры и победители олимпиады прошлого года по настоящему профилю, зарегистрированные на платформе НТО. 
В случае нарушения правил вы будете дисквалифицированы, а результаты не будут учтены. 
&nbsp;

email

Email

first_name

First name

last_name

Last name

middle_name

Middle name

is_underage

Underage

legal_representative_first_name

Legal representative First name

legal_representative_last_name

Legal representative Last name

legal_representative_middle_name

Legal representative Middle name

legal_representative_email

Legal representative Email

Registration application for competitions of the profile «Artificial Intelligence» of the National Technology Olympiad 2021/22

2 этап. Задача 2. Распознавание текста

Container

В архиве train.rar вы найдете:&nbsp;

<ul>
	<li>66599 изображений в папке <code>train/images</code>. Пример изображения: 
	<img alt="" src="https://storage.yandexcloud.net/datasouls-ods/images/2021/12/05/129efc1c-85c9-48ed-846a-abbafd3a2b43/data1.png" /></li>
	<li>Аннотации можно найти в файле <code>train/labels.json</code>. В качестве ключа используется название картинки, значение - текст на картинке.</li>
</ul>

sample_submission.zip

train.rar

OCR_baseline.ipynb

sample_submission.zip	39 MB
train.rar	2,107 MB
OCR_baseline.ipynb	1 MB

Materials (2,147 MB)