<p>Перед тем, как участвовать в соревновании, приглашаем вас в <a href="https://ods.ai/tracks/nlp_in_practice" rel="noopener noreferrer" target="_blank">трек &ldquo;NLP in practice&rdquo;</a>, где мы подробно разбираем все технические этапы, с которыми сталкиваются дата-сайентисты в NLP на практике. Переходите <a href="https://ods.ai/tracks/nlp_in_practice" rel="noopener noreferrer" target="_blank">по ссылке</a>, смотрите обучающие видео и участвуйте в квизах по ним!</p>

<h2><strong>Правила участия</strong></h2>

<p>Нажимая кнопку &quot;Участвовать&quot; и/или &quot;Отправить решение&quot;, вы соглашаетесь с <a href="http://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/AlfaDF23/Rules_Data_Fest_2023.pdf" rel="noopener noreferrer" target="_blank">Правилами проведения онлайн-соревнования &quot;Data Fest 2023. Соревнование по структуризации чеков ОФД&quot;.</a></p>

<h2><strong>Задача</strong></h2>

<p>Данные чеков ОФД содержат детальную информацию о тратах клиентов. Они помогают улучшать качество моделей кредитного скоринга и склонности к банковским продуктам, а также улучшать пользовательский опыт за счет структуризации трат клиентов в мобильном приложении. Однако работа с этим источником затрудняется его неструктурированностью: вся информация о купленном товаре лежит в одной строке произвольного формата.</p>

<p>В предположении что каждая чековая позиция описывает какой-либо товар, наименование этого товара, а также его бренд, являются главной информацией, которую можно извлечь из чека. По итогу задача структуризации этих данных ограничивается выделением и нормализацией брендов и товаров.</p>

<h2><strong>Данные</strong></h2>

<p>Участникам соревнования предоставляются два датасета с чековыми позициями, размеченный и неразмеченный:</p>

<ol>
<li>В размеченном датасете для каждой чековой позиции указаны нормализованные бренды и товары входящие в нее в исходном виде.</li>
<li>В неразмеченном датасете даны только сами чековые позиции.</li>
</ol>

<p>Подробное описание файлов и полей датасета соревнования можно найти во вкладке&nbsp;<a href="https://ods.ai/competitions/nlp-receipts/data" rel="noopener noreferrer" target="_blank">Данные</a>.</p>

<h2><strong>Метрика соревнования</strong></h2>

<p>Метрика соревнования - (F1_good + 2 * F1_brand) / 3, где F1_good- это метрика F1 на товарах, а F1_brand - это метрика F1 на брендах. Для подсчета F1 мы для считаем две метрики:</p>

<ul>
<li>Precision - доля сущностей из предсказания модели, которые оказались верными (то есть присутствуют в ответе для соответствующих примеров)</li>
<li>Recall - доля сущностей в ответах, которые выделила модель</li>
</ul>

<p>После чего метрика считается по знакомой формуле F1 = 2 / (1 / precision + 1 / recall)</p>

<p>Подробнее о данной модификации F1 для задач, подобных NER, можете прочитать по&nbsp;<a href="https://www.davidsbatista.net/blog/2018/05/09/Named_Entity_Evaluation/" rel="noopener noreferrer" target="_blank">ссылке</a> (раздел CoNLL).</p>

<h2><strong>Этапы соревнования</strong></h2>

<ol>
<li>CSV-соревнование<strong> (вы находитесь здесь)</strong>.

<ul>
<li>Сроки проведения: 2 июня 17:00 - 1 июля 23:59</li>
<li>Решения принимаются в формате CSV-файлов с ответами на тестовый датасет. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>В следующий этап проходят топ-20% (но не более 20) участников согласно окончательной таблице лидеров соревнования</li>
</ul>
</li>
<li>Docker-соревнование.
<ul>
<li>Сроки проведения: 2 июля 12:00 - 15 июля 23:59</li>
<li>Решения принимаются в формате Docker-контейнеров с инференсом модели. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>Для подтверждения участия в этом соревновании необходимо до 4 июля 23:59 отправить в соревнование решение в виде Docker-контейнера (формат описан в пункте &ldquo;Проверка решения&rdquo;) с лучшим решением этапа 1 в тестирующую систему (до этого момента в системе будет тестовый датасет из этапа 1). Участники, чей результат в CSV-соревновании будет сильно отличаться от результата их Docker-контейнера, будут дисквалифицированы.</li>
<li>В следующий этап проходят топ-10 команд согласно окончательной таблице лидеров соревнования</li>
</ul>
</li>
<li>Доразметка.
<ul>
<li>Сроки проведения: 16 июля 12:00 - 23 июля 23:59</li>
<li>Для получения дополнительной разметки каждая команда дошедшая до данного этапа может выбрать среди неразмеченного датасета не более 3000 примеров и направить их идентификаторы организаторам не позднее 16 июля 23:59 в&nbsp;<a href="https://t.me/xterrafunny" rel="noopener noreferrer" target="_blank">telegram</a>.</li>
<li>Не позднее 23 июля 23:59 организаторы вышлют всем командам, которые запрашивали дополнительную разметку, их размеченные примеры через telegram.</li>
</ul>
</li>
<li>Docker-соревнование.
<ul>
<li>Сроки проведения: 24 июля 12:00 - 6 августа 23:59</li>
<li>На данном этапе разрешается использовать доразметку полученную на этапе 3</li>
<li>Решения принимаются в формате Docker-контейнеров с инференсом модели. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>Авторы трех решений с наибольшей метрикой на private-части объявляются победителями и делят денежный приз</li>
</ul>
</li>
</ol>

<h2><strong>Проверка решения</strong></h2>

<h2><strong>Этап 1</strong></h2>

<p>Решения принимаются в виде csv-файла с тремя колонками: &quot;id&quot; - уникальный идентификтор, &quot;brand&quot; - бренды содержащиеся в данной чековой позиции, и &quot;good&quot; - товары содержащиеся в данной чековой позиции. Пример сабмита можно найти в файле sample_submission.csv.</p>

<p>Если в чековой позиции содержится больше одного бренда или товара, то нужно указать их через запятую. Промежуточные итоги подводятся на public-части тестовой выборки. Победители и призеры определяются на private-части тестовой выборки. И промежуточную, и окончательную таблицу лидеров можно найти во вкладке&nbsp;<a href="https://ods.ai/competitions/nlp-receipts/leaderboard" rel="noopener noreferrer" target="_blank">Таблица лидеров</a>.</p>

<h2><strong>Этапы 2 и 4</strong></h2>

<p>Решения принимаются в виде zip-архива размером не более 5Gb, имеющего структуру:</p>

<ul>
<li>metadata.json</li>
<li>user_file_1</li>
<li>user_file_2</li>
<li>&hellip;</li>
<li>user_file_n</li>
</ul>

<p>В файле metadata.json должны быть два поля:</p>

<ul>
<li>image - публичный образ в DockerHub, например &ldquo;xterrafunny/baseline-nlp-in-practice:latest&rdquo;</li>
<li>entry_point - команда для запуска в контейнере, например &ldquo;python run.py&rdquo;</li>
</ul>

<p>Решение запускается в Docker-контейнере, указанном в metadata.json. На вход в entry_point подаются:</p>

<ul>
<li><code>--dataset DATASET_PATH</code> - путь к датасету</li>
<li><code>--output OUTPUT_PATH</code> - путь для сохранения предсказаний модели</li>
</ul>

<p>Пример подаваемых аргументов: <code>--dataset ./dataset.csv --output ./pred.csv</code></p>

<p>Ресурсы для образа:</p>

<ul>
<li>8 vCPU</li>
<li>96Gb RAM</li>
<li>Nvidia V100, 32Gb</li>
<li>10Gb дискового пространства</li>
<li>Время на исполнение - 45 минут</li>
</ul>

<p>Предсказания модели должны представлять собой csv-файл с тремя колонками: &quot;id&quot; - уникальный идентификтор, &quot;brand&quot; - бренды содержащиеся в данной чековой позиции, и &quot;good&quot; - товары содержащиеся в данной чековой позиции. Пример предсказаний можно найти в файле sample_submission.csv. Если в чековой позиции содержится больше одного бренда или товара, то нужно указать их через запятую.</p>

<p>Промежуточные итоги подводятся на public-части тестовой выборки. Победители и призеры определяются на private-части тестовой выборки.</p>

<h2><strong>Использование внешней разметки</strong></h2>

<p>Запрещается использовать полученную вручную разметку, кроме предоставленной организаторами в датасетах и в рамках процесса доразметки, в выборках для модели, а также в посылках. Организаторы имеют право запросить Docker-контейнер с обучением и инференсом модели для подтверждения честности полученных результатов.</p>

<p>Однако разрешается собирать неразмеченные данные из открытых источников, при условии полной автоматизации данного процесса (то есть участник может предоставить Docker-контейнер в котором воспроизводится весь процесс)</p>

<h2><strong>Объединение в команды</strong></h2>

<p>В соревновании разрешено объединение участников в команды до 3 человек. Возможность объединения в команды закрывается 24 июня в 23:59.</p>

<h2><strong>Базовые решения и полезные функции</strong></h2>

<p>Чтобы помочь вам быстрее влиться в задачу соревнования, мы подготовили несколько базовых решений задачи. Все эти материалы можно найти в репозитории по&nbsp;<a href="https://github.com/xterrafunny/nlp_in_practice_receipts" rel="noopener noreferrer" target="_blank">ссылке</a>.</p>

<h2><strong>Призовой фонд</strong></h2>

<p>Призовой фонд разделят авторы 3 решений с наибольшей метрикой на private-части тестовой выборки на этапе 4</p>

<ul>
<li>1 место &ndash; 450 000 рублей</li>
<li>2 место &ndash; 250 000 рублей</li>
<li>3 место &ndash; 100 000 рублей</li>
</ul>

<p>Для получения денежных призов победителям и призерам соревнования необходимо прислать свое решение в виде Docker-контейнера, содержащего код для обучения и инференса лучшей модели на языке Python.</p>

Примите участие в первом DataScience-соревновании от Альфа-Банка! Это не будет соревнованием по машинному обучению, так как на последнем этапе вы не будете подбирать гиперпараметры, а будете выбирать данные для разметки, как это происходит на практике, чтобы улучшить свое решение

Public

Private

User Agreement

<p>I accept <a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/UserAgreement.pdf" rel="noopener noreferrer" target="_blank">Terms of User Agreement and Privacy Policy</a></p>

Privacy Policy

<p>I give my<a href="http://storage.yandexcloud.net/ds-ods/files/data/docs/events/DataFest2023/20230324-Consent_en.pdf"> consen</a>t to &laquo;Sorevnovaniya Analiza Dannykh&raquo; LLC to process and transfer my personal data to the partners of the event for information interaction</p>

Consent

<p>I agree to receive newsletters from &laquo;Sorevnovaniya Analiza Dannykh&raquo; LLC&nbsp;about key ODS.AI activities</p>

#	Teams (134)	F1 score	Last	Entries
1	tg kaggle_fucker	0.8428951774	23m	56
2	Andrey Kuznetsov	0.8209243028	23m	40
3	Andrei Babkin	0.816688894	23m	41
4	Ivan Yu Bondarenko	0.8148605143	23m	7
5	Dmitry Kuzyurin	0.8141254652	23m	23
6	Mikhail Utrobin	0.8087335591	2y	19
7	Andrey Khlopotnukh	0.8038481659	2y	44
8	Aleksandr Shatilov	0.8011746943	23m	11
9	Poly Team	0.8007980861	23m	43
10	Eskender Dzhemadinov	0.7996547261	23m	36
11	One Piece	0.7974671979	23m	4
12	BibaAndBoba	0.7950652488	23m	8
13	Vladimir Testov	0.7927154989	23m	6
14	Stanislav Chistyakov	0.789823755	23m	35
15	Ilia Kuleshov	0.7859871928	2y	2
16	Ilia Kolzin	0.7846927314	2y	28
17	Nikolai Semiachkin	0.7820349997	23m	10
18	Alesha	0.7798592238	23m	3
19	Vladimir Vorobev	0.778161194	2y	17
20	Valentin Gromov	0.7772005846	23m	10
21	tg ai_minds	0.7771312471	23m	45
22	ZA DENGI DA	0.7746410909	23m	8
23	killer-queen	0.7708931514	23m	14
24	Kirill Bobylev	0.7687000532	23m	34
25	ML Rocks	0.766739933	23m	3
26	sfdc9d969c9c8	0.7654881446	23m	5
27	qklent	0.7653834111	2y	30
28	Tcofaz	0.7629305688	2y	16
29	Postironiia Dlia russkikh	0.761722488	2y	36
30	Nikolai Vdovin	0.7614064073	2y	13
31	Maksim Maklygin	0.7597594896	23m	12
32	Aleksey Aleksey	0.7543554661	2y	22
33	hfd9721d83824	0.7536636768	23m	3
34	Max Milkov	0.7523761309	2y	15
35	Rinat	0.7505879002	2y	14
36	Pavel Orlov	0.7467183877	23m	20
37	Aleksey Savotchenko	0.7445153341	2y	25
38	aujdijbnawi	0.7444115342	2y	12
39	Evgenii Vigurskii	0.7419609932	2y	23
40	Artiom Akopian	0.7386759072	23m	30
41	Mikhail Cherpakov	0.7372282828	2y	8
42	Tatyana Zh	0.7368986599	23m	6
43	Arseniy Polyakov	0.7356384902	23m	33
44	svq	0.7351060074	2y	12
45	Sergei Kozhevnikov	0.7304474216	2y	9
46	Dungeon Master	0.7297684211	2y	2
47	Aleksandr Gritckevich	0.7267095746	2y	28
48	Хомячки	0.7201701223	23m	13
49	Alexander Dudin	0.7186868309	2y	21
50	сансеймайсамба	0.7167153642	23m	35