<h3>Задача</h3>

Вам предстоит работать с фотографиями разлинованных тетрадных листов с рукописным текстом. Ваша задача - разработать алгоритм, который сможет определить, относится ли пиксель изображения к тексту или нет.&nbsp;

Предсказанием для входного изображения является бинарная маска размера исходного изображения, в которой 1 - означает, что данный пиксель относится к тексту, 0 - к фону. Таким образом в датасете всего один класс - text.

<h3>Формат решений</h3>

В проверяющую систему необходимо отправить код алгоритма, запакованный в ZIP-архив. Решения запускаются в изолированном окружении при помощи Docker. Время и ресурсы во время тестирования ограничены.

В корне архива обязательно должен быть файл <code>metadata.json</code> со структурой:

<code>{</code> 
<code>&nbsp; &quot;image&quot;: &quot;&lt;docker image&gt;&quot;,</code> 
<code>&nbsp; &quot;entry_point&quot;: &quot;&lt;entry point or sh script&gt;&quot;</code> 
<code>}</code> 
Например:

<code>{</code> 
<code>&nbsp; &nbsp;&quot;image&quot;: &quot;maloyan/ai-nto-task1:0.0.1&quot;,</code> 
<code>&nbsp; &nbsp;&quot;entry_point&quot;: &quot;python run.py&quot;</code> 
<code>}</code> 
&nbsp;

Здесь <code>image</code> &ndash; поле с названием docker-образа, в котором будет запускаться решение, <code>entrypoint</code> &ndash; команда, при помощи которой запускается скрипт инференса. Решение запускается в Docker контейнере. Вы можете воспользоваться готовым образом <code>&quot;maloyan/ai-nto-task1:0.0.1&quot;</code>. <a href="https://storage.yandexcloud.net/datasouls-ods/materials/3d5f8c48/Dockerfile" rel="noopener noreferrer" target="_blank">Dockerfile</a> и <a href="https://storage.yandexcloud.net/datasouls-ods/materials/119df132/requirements.txt" rel="noopener noreferrer" target="_blank">requirements.txt</a> для сборки данного образа. В нем предустановлены CUDA 10.1 и актуальные версии Python библиотек для запуска бейзлайна. При желании вы можете использовать свой образ, выложив его на <a href="https://hub.docker.com/" rel="noopener noreferrer" target="_blank">https://hub.docker.com</a>.&nbsp;

<a href="https://youtu.be/KwVfwnlzLpE" rel="noopener noreferrer" target="_blank">Вебинар о том, как собрать докер, чтобы он работал</a>, от призера профиля прошлого года Виталия Гребенника

Доступные ресурсы:

<ul>
<li>8 ядер CPU</li>
<li>48Gb RAM</li>
<li>Видеокарта NVidia Tesla V100</li>
</ul>

Ограничения:

<ul>
<li>5Gb на архив с решением</li>
<li>15 минут на работу решения</li>
</ul>

<h3>Структура данных</h3>

В контейнер помещается папка <code>images</code>, в которой находятся изображения, на которых необходимо сделать предсказания. Модель должна сформировать файл предсказания, например <code>prediction.npz</code>.

Пути к данным для &nbsp;(полный путь к папке <code>images</code>) и файл, в котором необходимо сохранить результат (путь куда нужно сохранить файл формата <code>.npz</code>) передаются как первые два аргумента при запуске вашего решения. Их можно считать с помощью <code>sys.argv[1:]</code>.

<h3>Пример решения</h3>

Посмотрите архив <a href="https://storage.yandexcloud.net/datasouls-ods/materials/f3996480/submit.zip" rel="noopener noreferrer" target="_blank">sample_submit.zip</a>, в котором содержатся примеры загружаемого решения.&nbsp;

В загружаемом архиве должны быть следующие файлы:

<ul>
<li><code>metadata.json</code> - обязательный файл для каждого решения; в нём должны быть указаны пути к образу и скрипту выполнения модели</li>
<li><code>run.py</code> - основной скрипт для инференса модели</li>
<li><code>model_final.pth</code> - веса модели, которые подгружаются во время исполнения скрипта run.py</li>
</ul>

<h3>Метрика</h3>

Для оценки качества будет использоваться метрика F1-score: 
$$F1&nbsp;= 2 \cdot \frac{Recall \cdot Precision}{Recall + Precision}$$ 
F1-score вычисляется на основе значений Precision (точности) и Recall (полноты), которые, в свою очередь, зависят от набора статистик по прогнозам &ndash; true positive (TP, истинно-положительный результат), false positive (FP, ложно-положительный результат) и false negative (FN, ложно-отрицательный результат): 
$$Precision= \frac{\text{True Positive}}{\text{True Positive + False&nbsp;Positive}}$$ 
$$Recall = \frac{\text{True Positive}}{\text{True Positive + False Negative}}$$ 
Сначала F1-score считается для каждого изображения из тестового набора. Для этого попиксельно сравниваются две маски - верная и предсказанная. Затем F1-score усредняются по всем изображениям. Так что, в каком то смысле мы считаем mean F1-score.

<h3>Baseline</h3>

Вам доступно базовое решение от разработчиков задачи: <a href="https://storage.yandexcloud.net/datasouls-ods/images/2021/11/11/815167dc-065a-41f1-b03e-babf35964dc0/baseline.ipynb" rel="noopener noreferrer" target="_blank">baseline.ipynb</a>

<a href="https://youtu.be/mlm2xAg-JpY" rel="noopener noreferrer" target="_blank">Вебинар с разбором базового решения</a>

Для сегментации рукописного текста в бейзлайне используется фреймворк Detectron2 и архитектура Mask-RCNN. Для запуска бейзлайна скачайте данные для обучения и положите их в папку data. Должна получиться такая структура:

<ul>
<li>baseline.ipynb</li>
<li>data
<ul>
<li>train
<ul>
<li>images</li>
<li>annotations.json</li>
<li>binary.npz</li>
</ul>
</li>
</ul>
</li>
</ul>

Задача сегментации рукописного текста на фото

Public

Private

User agreement

Я прочитал(-а) и согласен(-на) с <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/PersonalData.pdf" rel="noopener noreferrer" target="_blank">Пользовательским соглашением и Политикой конфиденциальности</a>

Personal data

Я даю свое <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/UserAgreement.pdf" rel="noopener noreferrer" target="_blank">согласие</a> ООО &ldquo;Соревнования Анализа Данных&rdquo; на обработку и передачу моих персональных данных партнерам мероприятия для информационного взаимодействия

Contest Rules

Согласен (-на) с <a href="https://storage.yandexcloud.net/datasouls-ods/NTO2021/ContestRules.pdf" rel="noopener noreferrer" target="_blank">Правилами Конкурса</a>

Вы попали на страницу регистрации на соревнования профиля &laquo;Искусственный интеллект&raquo; Национальной технологической олимпиады 2021/22. При регистрации указывайте ту же электронную почту и корректные ФИО, которые вы указывали при регистрации на НТО. &nbsp; 
Обращаем внимание, что к участию во втором этапе НТО допускаются все участники, набравшие в первом этапе баллы выше порогового значения, установленного профилем, призеры и победители партнерских соревнований, призёры и победители указанных профилями соревнований, финалисты, призеры и победители олимпиады прошлого года по настоящему профилю, зарегистрированные на платформе НТО. 
В случае нарушения правил вы будете дисквалифицированы, а результаты не будут учтены. 
&nbsp;

email

Email

first_name

First name

last_name

Last name

middle_name

Middle name

is_underage

Underage

legal_representative_first_name

Legal representative First name

legal_representative_last_name

Legal representative Last name

legal_representative_middle_name

Legal representative Middle name

legal_representative_email

Legal representative Email

Registration application for competitions of the profile «Artificial Intelligence» of the National Technology Olympiad 2021/22

#	Teams (233)	F1	Last	Entries
1	/dev/urandom	0.88282	18m	18
2	sapfear	0.87956	18m	15
3	nova t0efL feruntur	0.87605	18m	34
4	Андрей Кузнецов	0.87531	18m	81
5	Daria Kurganskaia	0.8746	18m	3
6	semeka13	0.87355	18m	26
7	mn	0.8718	18m	8
8	DanAsOne	0.87137	18m	32
9	Chiornyi Perets	0.87122	18m	41
10	Пока не BananaDev	0.87071	18m	40
11	Konstantin Luchinkin	0.8702	18m	13
12	Андрей Кузнецов	0.86999	18m	8
13	Tamir Puzanov	0.86971	19m	7
14	Vyacheslav Luchkin	0.86938	18m	12
15	Baby Kaggler btw	0.86937	18m	53
16	Vince "Air Canada" Carter	0.86875	18m	29
17	Vladimir Vorobev	0.86825	18m	26
18	Cool_Man O_0	0.868	18m	19
19	Sergey Volnov	0.86665	18m	19
20	Priadkin Maksim	0.86536	18m	4
21	Glafira Kurganskaya 🧁	0.86359	18m	2
22	Sasha Ilin	0.86308	18m	26
23	Mihail Yasnov	0.86272	18m	24
24	71f6728de25f	0.86268	18m	5
25	otter_18	0.86253	18m	29
26	Андрей Кузнецов	0.86182	18m	27
27	Anonumous	0.86181	18m	19
28	The Emperium	0.86161	18m	34
29	Gerasimov Maxim	0.86159	18m	23
30	Daniyar Amadaliev	0.86071	18m	10
31	Aleksandr Shteinman	0.86022	18m	12
32	6748b168d031	0.85896	18m	7
33	mishkashishka	0.85813	18m	6
34	Timofei Silaev	0.85711	18m	18
35	Дмитрий Куценко	0.85534	18m	9
36	shubat energy	0.85516	18m	16
37	Vadim Semenov	0.85468	18m	1
38	funtik22	0.85461	18m	13
39	Viakhirev Ivan	0.85442	18m	13
40	Egor Starygin	0.85427	18m	16
41	Нашли кота	0.85324	18m	4
42	Amal Akhmadinurov	0.85321	18m	14
43	PrI kE	0.85261	18m	1
44	Artem Borzenko	0.85214	18m	7
45	арбузикиteam	0.85192	18m	29
46	digitaljay	0.85128	18m	17
47	Kirill Kuznetsov	0.85049	18m	5
48	Georgy Shamteev	0.85003	18m	9
49	- hindoo -	0.84973	18m	2
50	Eskimo	0.84954	18m	13