<h3>Задача</h3>

Вам предстоит работать с фотографиями разлинованных тетрадных листов с рукописным текстом. Ваша задача - разработать алгоритм, который сможет определить, относится ли пиксель изображения к тексту или нет.&nbsp;

Предсказанием для входного изображения является бинарная маска размера исходного изображения, в которой 1 - означает, что данный пиксель относится к тексту, 0 - к фону. Таким образом в датасете всего один класс - text.

<h3>Формат решений</h3>

В проверяющую систему необходимо отправить код алгоритма, запакованный в ZIP-архив. Решения запускаются в изолированном окружении при помощи Docker. Время и ресурсы во время тестирования ограничены.

В корне архива обязательно должен быть файл <code>metadata.json</code> со структурой:

<code>{</code> 
<code>&nbsp; &quot;image&quot;: &quot;&lt;docker image&gt;&quot;,</code> 
<code>&nbsp; &quot;entry_point&quot;: &quot;&lt;entry point or sh script&gt;&quot;</code> 
<code>}</code> 
Например:

<code>{</code> 
<code>&nbsp; &nbsp;&quot;image&quot;: &quot;maloyan/ai-nto-task1:0.0.1&quot;,</code> 
<code>&nbsp; &nbsp;&quot;entry_point&quot;: &quot;python run.py&quot;</code> 
<code>}</code> 
&nbsp;

Здесь <code>image</code> &ndash; поле с названием docker-образа, в котором будет запускаться решение, <code>entrypoint</code> &ndash; команда, при помощи которой запускается скрипт инференса. Решение запускается в Docker контейнере. Вы можете воспользоваться готовым образом <code>&quot;maloyan/ai-nto-task1:0.0.1&quot;</code>. <a href="https://storage.yandexcloud.net/datasouls-ods/materials/3d5f8c48/Dockerfile" rel="noopener noreferrer" target="_blank">Dockerfile</a> и <a href="https://storage.yandexcloud.net/datasouls-ods/materials/119df132/requirements.txt" rel="noopener noreferrer" target="_blank">requirements.txt</a> для сборки данного образа. В нем предустановлены CUDA 10.1 и актуальные версии Python библиотек для запуска бейзлайна. При желании вы можете использовать свой образ, выложив его на <a href="https://hub.docker.com/" rel="noopener noreferrer" target="_blank">https://hub.docker.com</a>.&nbsp;

<a href="https://youtu.be/KwVfwnlzLpE" rel="noopener noreferrer" target="_blank">Вебинар о том, как собрать докер, чтобы он работал</a>, от призера профиля прошлого года Виталия Гребенника

Доступные ресурсы:

<ul>
<li>8 ядер CPU</li>
<li>48Gb RAM</li>
<li>Видеокарта NVidia Tesla V100</li>
</ul>

Ограничения:

<ul>
<li>5Gb на архив с решением</li>
<li>15 минут на работу решения</li>
</ul>

<h3>Структура данных</h3>

В контейнер помещается папка <code>images</code>, в которой находятся изображения, на которых необходимо сделать предсказания. Модель должна сформировать файл предсказания, например <code>prediction.npz</code>.

Пути к данным для &nbsp;(полный путь к папке <code>images</code>) и файл, в котором необходимо сохранить результат (путь куда нужно сохранить файл формата <code>.npz</code>) передаются как первые два аргумента при запуске вашего решения. Их можно считать с помощью <code>sys.argv[1:]</code>.

<h3>Пример решения</h3>

Посмотрите архив <a href="https://storage.yandexcloud.net/datasouls-ods/materials/f3996480/submit.zip" rel="noopener noreferrer" target="_blank">sample_submit.zip</a>, в котором содержатся примеры загружаемого решения.&nbsp;

В загружаемом архиве должны быть следующие файлы:

<ul>
<li><code>metadata.json</code> - обязательный файл для каждого решения; в нём должны быть указаны пути к образу и скрипту выполнения модели</li>
<li><code>run.py</code> - основной скрипт для инференса модели</li>
<li><code>model_final.pth</code> - веса модели, которые подгружаются во время исполнения скрипта run.py</li>
</ul>

<h3>Метрика</h3>

Для оценки качества будет использоваться метрика F1-score: 
$$F1&nbsp;= 2 \cdot \frac{Recall \cdot Precision}{Recall + Precision}$$ 
F1-score вычисляется на основе значений Precision (точности) и Recall (полноты), которые, в свою очередь, зависят от набора статистик по прогнозам &ndash; true positive (TP, истинно-положительный результат), false positive (FP, ложно-положительный результат) и false negative (FN, ложно-отрицательный результат): 
$$Precision= \frac{\text{True Positive}}{\text{True Positive + False&nbsp;Positive}}$$ 
$$Recall = \frac{\text{True Positive}}{\text{True Positive + False Negative}}$$ 
Сначала F1-score считается для каждого изображения из тестового набора. Для этого попиксельно сравниваются две маски - верная и предсказанная. Затем F1-score усредняются по всем изображениям. Так что, в каком то смысле мы считаем mean F1-score.

<h3>Baseline</h3>

Вам доступно базовое решение от разработчиков задачи: <a href="https://storage.yandexcloud.net/datasouls-ods/images/2021/11/11/815167dc-065a-41f1-b03e-babf35964dc0/baseline.ipynb" rel="noopener noreferrer" target="_blank">baseline.ipynb</a>

<a href="https://youtu.be/mlm2xAg-JpY" rel="noopener noreferrer" target="_blank">Вебинар с разбором базового решения</a>

Для сегментации рукописного текста в бейзлайне используется фреймворк Detectron2 и архитектура Mask-RCNN. Для запуска бейзлайна скачайте данные для обучения и положите их в папку data. Должна получиться такая структура:

<ul>
<li>baseline.ipynb</li>
<li>data
<ul>
<li>train
<ul>
<li>images</li>
<li>annotations.json</li>
<li>binary.npz</li>
</ul>
</li>
</ul>
</li>
</ul>

Задача сегментации рукописного текста на фото

Public

Private

User agreement

Я прочитал(-а) и согласен(-на) с <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/PersonalData.pdf" rel="noopener noreferrer" target="_blank">Пользовательским соглашением и Политикой конфиденциальности</a>

Personal data

Я даю свое <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/UserAgreement.pdf" rel="noopener noreferrer" target="_blank">согласие</a> ООО &ldquo;Соревнования Анализа Данных&rdquo; на обработку и передачу моих персональных данных партнерам мероприятия для информационного взаимодействия

Contest Rules

Согласен (-на) с <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/ContestRules.pdf" rel="noopener noreferrer" target="_blank">Правилами Конкурса</a>

Вы попали на страницу регистрации на соревнования профиля &laquo;Искусственный интеллект&raquo; Национальной технологической олимпиады 2021/22. При регистрации указывайте ту же электронную почту и корректные ФИО, которые вы указывали при регистрации на НТО. &nbsp; 
Обращаем внимание, что к участию во втором этапе НТО допускаются все участники, набравшие в первом этапе баллы выше порогового значения, установленного профилем, призеры и победители партнерских соревнований, призёры и победители указанных профилями соревнований, финалисты, призеры и победители олимпиады прошлого года по настоящему профилю, зарегистрированные на платформе НТО. 
В случае нарушения правил вы будете дисквалифицированы, а результаты не будут учтены. 
&nbsp;

email

Email

first_name

First name

last_name

Last name

middle_name

Middle name

is_underage

Underage

legal_representative_first_name

Legal representative First name

legal_representative_last_name

Legal representative Last name

legal_representative_middle_name

Legal representative Middle name

legal_representative_email

Legal representative Email

Registration application for competitions of the profile «Artificial Intelligence» of the National Technology Olympiad 2021/22

#	Teams (233)	F1	Last	Entries
1	Vince "Air Canada" Carter	0.90454	4y	29
2	Glafira Kurganskaya 🧁	0.90436	4y	2
3	DanAsOne	0.90307	4y	32
4	Konstantin Luchinkin	0.90296	4y	13
5	Daria Kurganskaia	0.90209	4y	3
6	Андрей Кузнецов	0.90147	4y	27
7	Андрей Кузнецов	0.90133	4y	81
8	Андрей Кузнецов	0.90029	4y	8
9	Пока не BananaDev	0.9	4y	40
10	sapfear	0.89903	4y	15
11	Baby Kaggler btw	0.89898	4y	53
12	Vladimir Vorobev	0.89854	4y	26
13	Mihail Yasnov	0.89843	4y	24
14	mn	0.89834	4y	8
15	/dev/urandom	0.89716	4y	18
16	The Emperium	0.89681	4y	34
17	Konzi	0.89663	4y	2
18	6748b168d031	0.89533	4y	7
19	Priadkin Maksim	0.89522	4y	4
20	Tamir Puzanov	0.8951	4y	7
21	Chiornyi Perets	0.89442	4y	41
22	Sasha Ilin	0.89383	4y	26
23	Vyacheslav Luchkin	0.8934	4y	12
24	Aleksandr Shteinman	0.89314	4y	12
25	Anonumous	0.89274	4y	19
26	CyberData	0.89247	4y	1
27	Kirill Kuznetsov	0.89215	4y	5
28	Нашли кота	0.892	4y	4
29	Daniyar Amadaliev	0.89005	4y	10
30	Egor Starygin	0.88979	4y	16
31	71f6728de25f	0.88966	4y	5
32	Timofei Silaev	0.88945	4y	18
33	Sergey Volnov	0.88945	4y	19
34	Shaleen Bhartiya	0.88945	4y	12
35	PrI kE	0.88905	4y	1
36	semeka13	0.88821	4y	26
37	1AleksandrovMaksim	0.88748	4y	37
38	Gerasimov Maxim	0.88727	4y	23
39	Georgy Shamteev	0.88673	4y	9
40	digitaljay	0.8856	4y	17
41	funtik22	0.88533	4y	13
42	Eskimo	0.88499	4y	13
43	Viakhirev Ivan	0.88479	4y	13
44	nova t0efL feruntur	0.88394	4y	34
45	mishkashishka	0.88352	4y	6
46	Дмитрий Куценко	0.88279	4y	9
47	Artem Borzenko	0.88261	4y	7
48	- hindoo -	0.88235	4y	2
49	proton	0.88016	4y	6
50	AIболиты	0.87676	4y	2