<p>Перед тем, как участвовать в соревновании, приглашаем вас в <a href="https://ods.ai/tracks/nlp_in_practice" rel="noopener noreferrer" target="_blank">трек &ldquo;NLP in practice&rdquo;</a>, где мы подробно разбираем все технические этапы, с которыми сталкиваются дата-сайентисты в NLP на практике. Переходите <a href="https://ods.ai/tracks/nlp_in_practice" rel="noopener noreferrer" target="_blank">по ссылке</a>, смотрите обучающие видео и участвуйте в квизах по ним!</p>

<h2><strong>Правила участия</strong></h2>

<p>Нажимая кнопку &quot;Участвовать&quot; и/или &quot;Отправить решение&quot;, вы соглашаетесь с <a href="http://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/AlfaDF23/Rules_Data_Fest_2023.pdf" rel="noopener noreferrer" target="_blank">Правилами проведения онлайн-соревнования &quot;Data Fest 2023. Соревнование по структуризации чеков ОФД&quot;.</a></p>

<h2><strong>Задача</strong></h2>

<p>Данные чеков ОФД содержат детальную информацию о тратах клиентов. Они помогают улучшать качество моделей кредитного скоринга и склонности к банковским продуктам, а также улучшать пользовательский опыт за счет структуризации трат клиентов в мобильном приложении. Однако работа с этим источником затрудняется его неструктурированностью: вся информация о купленном товаре лежит в одной строке произвольного формата.</p>

<p>В предположении что каждая чековая позиция описывает какой-либо товар, наименование этого товара, а также его бренд, являются главной информацией, которую можно извлечь из чека. По итогу задача структуризации этих данных ограничивается выделением и нормализацией брендов и товаров.</p>

<h2><strong>Данные</strong></h2>

<p>Участникам соревнования предоставляются два датасета с чековыми позициями, размеченный и неразмеченный:</p>

<ol>
<li>В размеченном датасете для каждой чековой позиции указаны нормализованные бренды и товары входящие в нее в исходном виде.</li>
<li>В неразмеченном датасете даны только сами чековые позиции.</li>
</ol>

<p>Подробное описание файлов и полей датасета соревнования можно найти во вкладке&nbsp;<a href="https://ods.ai/competitions/nlp-receipts/data" rel="noopener noreferrer" target="_blank">Данные</a>.</p>

<h2><strong>Метрика соревнования</strong></h2>

<p>Метрика соревнования - (F1_good + 2 * F1_brand) / 3, где F1_good- это метрика F1 на товарах, а F1_brand - это метрика F1 на брендах. Для подсчета F1 мы для считаем две метрики:</p>

<ul>
<li>Precision - доля сущностей из предсказания модели, которые оказались верными (то есть присутствуют в ответе для соответствующих примеров)</li>
<li>Recall - доля сущностей в ответах, которые выделила модель</li>
</ul>

<p>После чего метрика считается по знакомой формуле F1 = 2 / (1 / precision + 1 / recall)</p>

<p>Подробнее о данной модификации F1 для задач, подобных NER, можете прочитать по&nbsp;<a href="https://www.davidsbatista.net/blog/2018/05/09/Named_Entity_Evaluation/" rel="noopener noreferrer" target="_blank">ссылке</a> (раздел CoNLL).</p>

<h2><strong>Этапы соревнования</strong></h2>

<ol>
<li>CSV-соревнование<strong> (вы находитесь здесь)</strong>.

<ul>
<li>Сроки проведения: 2 июня 17:00 - 1 июля 23:59</li>
<li>Решения принимаются в формате CSV-файлов с ответами на тестовый датасет. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>В следующий этап проходят топ-20% (но не более 20) участников согласно окончательной таблице лидеров соревнования</li>
</ul>
</li>
<li>Docker-соревнование.
<ul>
<li>Сроки проведения: 2 июля 12:00 - 15 июля 23:59</li>
<li>Решения принимаются в формате Docker-контейнеров с инференсом модели. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>Для подтверждения участия в этом соревновании необходимо до 4 июля 23:59 отправить в соревнование решение в виде Docker-контейнера (формат описан в пункте &ldquo;Проверка решения&rdquo;) с лучшим решением этапа 1 в тестирующую систему (до этого момента в системе будет тестовый датасет из этапа 1). Участники, чей результат в CSV-соревновании будет сильно отличаться от результата их Docker-контейнера, будут дисквалифицированы.</li>
<li>В следующий этап проходят топ-10 команд согласно окончательной таблице лидеров соревнования</li>
</ul>
</li>
<li>Доразметка.
<ul>
<li>Сроки проведения: 16 июля 12:00 - 23 июля 23:59</li>
<li>Для получения дополнительной разметки каждая команда дошедшая до данного этапа может выбрать среди неразмеченного датасета не более 3000 примеров и направить их идентификаторы организаторам не позднее 16 июля 23:59 в&nbsp;<a href="https://t.me/xterrafunny" rel="noopener noreferrer" target="_blank">telegram</a>.</li>
<li>Не позднее 23 июля 23:59 организаторы вышлют всем командам, которые запрашивали дополнительную разметку, их размеченные примеры через telegram.</li>
</ul>
</li>
<li>Docker-соревнование.
<ul>
<li>Сроки проведения: 24 июля 12:00 - 6 августа 23:59</li>
<li>На данном этапе разрешается использовать доразметку полученную на этапе 3</li>
<li>Решения принимаются в формате Docker-контейнеров с инференсом модели. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>Авторы трех решений с наибольшей метрикой на private-части объявляются победителями и делят денежный приз</li>
</ul>
</li>
</ol>

<h2><strong>Проверка решения</strong></h2>

<h2><strong>Этап 1</strong></h2>

<p>Решения принимаются в виде csv-файла с тремя колонками: &quot;id&quot; - уникальный идентификтор, &quot;brand&quot; - бренды содержащиеся в данной чековой позиции, и &quot;good&quot; - товары содержащиеся в данной чековой позиции. Пример сабмита можно найти в файле sample_submission.csv.</p>

<p>Если в чековой позиции содержится больше одного бренда или товара, то нужно указать их через запятую. Промежуточные итоги подводятся на public-части тестовой выборки. Победители и призеры определяются на private-части тестовой выборки. И промежуточную, и окончательную таблицу лидеров можно найти во вкладке&nbsp;<a href="https://ods.ai/competitions/nlp-receipts/leaderboard" rel="noopener noreferrer" target="_blank">Таблица лидеров</a>.</p>

<h2><strong>Этапы 2 и 4</strong></h2>

<p>Решения принимаются в виде zip-архива размером не более 5Gb, имеющего структуру:</p>

<ul>
<li>metadata.json</li>
<li>user_file_1</li>
<li>user_file_2</li>
<li>&hellip;</li>
<li>user_file_n</li>
</ul>

<p>В файле metadata.json должны быть два поля:</p>

<ul>
<li>image - публичный образ в DockerHub, например &ldquo;xterrafunny/baseline-nlp-in-practice:latest&rdquo;</li>
<li>entry_point - команда для запуска в контейнере, например &ldquo;python run.py&rdquo;</li>
</ul>

<p>Решение запускается в Docker-контейнере, указанном в metadata.json. На вход в entry_point подаются:</p>

<ul>
<li><code>--dataset DATASET_PATH</code> - путь к датасету</li>
<li><code>--output OUTPUT_PATH</code> - путь для сохранения предсказаний модели</li>
</ul>

<p>Пример подаваемых аргументов: <code>--dataset ./dataset.csv --output ./pred.csv</code></p>

<p>Ресурсы для образа:</p>

<ul>
<li>8 vCPU</li>
<li>96Gb RAM</li>
<li>Nvidia V100, 32Gb</li>
<li>10Gb дискового пространства</li>
<li>Время на исполнение - 45 минут</li>
</ul>

<p>Предсказания модели должны представлять собой csv-файл с тремя колонками: &quot;id&quot; - уникальный идентификтор, &quot;brand&quot; - бренды содержащиеся в данной чековой позиции, и &quot;good&quot; - товары содержащиеся в данной чековой позиции. Пример предсказаний можно найти в файле sample_submission.csv. Если в чековой позиции содержится больше одного бренда или товара, то нужно указать их через запятую.</p>

<p>Промежуточные итоги подводятся на public-части тестовой выборки. Победители и призеры определяются на private-части тестовой выборки.</p>

<h2><strong>Использование внешней разметки</strong></h2>

<p>Запрещается использовать полученную вручную разметку, кроме предоставленной организаторами в датасетах и в рамках процесса доразметки, в выборках для модели, а также в посылках. Организаторы имеют право запросить Docker-контейнер с обучением и инференсом модели для подтверждения честности полученных результатов.</p>

<p>Однако разрешается собирать неразмеченные данные из открытых источников, при условии полной автоматизации данного процесса (то есть участник может предоставить Docker-контейнер в котором воспроизводится весь процесс)</p>

<h2><strong>Объединение в команды</strong></h2>

<p>В соревновании разрешено объединение участников в команды до 3 человек. Возможность объединения в команды закрывается 24 июня в 23:59.</p>

<h2><strong>Базовые решения и полезные функции</strong></h2>

<p>Чтобы помочь вам быстрее влиться в задачу соревнования, мы подготовили несколько базовых решений задачи. Все эти материалы можно найти в репозитории по&nbsp;<a href="https://github.com/xterrafunny/nlp_in_practice_receipts" rel="noopener noreferrer" target="_blank">ссылке</a>.</p>

<h2><strong>Призовой фонд</strong></h2>

<p>Призовой фонд разделят авторы 3 решений с наибольшей метрикой на private-части тестовой выборки на этапе 4</p>

<ul>
<li>1 место &ndash; 450 000 рублей</li>
<li>2 место &ndash; 250 000 рублей</li>
<li>3 место &ndash; 100 000 рублей</li>
</ul>

<p>Для получения денежных призов победителям и призерам соревнования необходимо прислать свое решение в виде Docker-контейнера, содержащего код для обучения и инференса лучшей модели на языке Python.</p>

Примите участие в первом DataScience-соревновании от Альфа-Банка! Это не будет соревнованием по машинному обучению, так как на последнем этапе вы не будете подбирать гиперпараметры, а будете выбирать данные для разметки, как это происходит на практике, чтобы улучшить свое решение

Public

Private

User Agreement

<p>I accept <a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/UserAgreement.pdf" rel="noopener noreferrer" target="_blank">Terms of User Agreement and Privacy Policy</a></p>

Privacy Policy

<p>I give my<a href="http://storage.yandexcloud.net/ds-ods/files/data/docs/events/DataFest2023/20230324-Consent_en.pdf"> consen</a>t to &laquo;Sorevnovaniya Analiza Dannykh&raquo; LLC to process and transfer my personal data to the partners of the event for information interaction</p>

Consent

<p>I agree to receive newsletters from &laquo;Sorevnovaniya Analiza Dannykh&raquo; LLC&nbsp;about key ODS.AI activities</p>

#	Teams (134)	F1 score	Last	Entries
1	tg kaggle_fucker	0.8428951774	16m	56
2	Andrey Kuznetsov	0.8209243028	16m	40
3	Andrei Babkin	0.816688894	16m	41
4	Ivan Yu Bondarenko	0.8148605143	16m	7
5	Dmitry Kuzyurin	0.8141254652	16m	23
6	Mikhail Utrobin	0.8087335591	17m	19
7	Andrey Khlopotnukh	0.8038481659	17m	44
8	Aleksandr Shatilov	0.8011746943	16m	11
9	Poly Team	0.8007980861	16m	43
10	Eskender Dzhemadinov	0.7996547261	16m	36
11	One Piece	0.7974671979	16m	4
12	BibaAndBoba	0.7950652488	16m	8
13	Vladimir Testov	0.7927154989	16m	6
14	Stanislav Chistyakov	0.789823755	16m	35
15	Ilia Kuleshov	0.7859871928	17m	2
16	Ilia Kolzin	0.7846927314	17m	28
17	Nikolai Semiachkin	0.7820349997	16m	10
18	Alesha	0.7798592238	16m	3
19	Vladimir Vorobev	0.778161194	17m	17
20	Valentin Gromov	0.7772005846	16m	10
21	tg ai_minds	0.7771312471	16m	45
22	ZA DENGI DA	0.7746410909	16m	8
23	killer-queen	0.7708931514	16m	14
24	Kirill Bobylev	0.7687000532	16m	34
25	ML Rocks	0.766739933	16m	3
26	sfdc9d969c9c8	0.7654881446	16m	5
27	qklent	0.7653834111	17m	30
28	Tcofaz	0.7629305688	17m	16
29	Postironiia Dlia russkikh	0.761722488	17m	36
30	Nikolai Vdovin	0.7614064073	17m	13
31	Maksim Maklygin	0.7597594896	16m	12
32	Aleksey Aleksey	0.7543554661	17m	22
33	hfd9721d83824	0.7536636768	16m	3
34	Max Milkov	0.7523761309	17m	15
35	Rinat	0.7505879002	17m	14
36	Pavel Orlov	0.7467183877	16m	20
37	Aleksey Savotchenko	0.7445153341	17m	25
38	aujdijbnawi	0.7444115342	17m	12
39	Evgenii Vigurskii	0.7419609932	17m	23
40	Artiom Akopian	0.7386759072	16m	30
41	Mikhail Cherpakov	0.7372282828	17m	8
42	Tatyana Zh	0.7368986599	16m	6
43	Arseniy Polyakov	0.7356384902	16m	33
44	svq	0.7351060074	17m	12
45	Sergei Kozhevnikov	0.7304474216	17m	9
46	Dungeon Master	0.7297684211	17m	2
47	Aleksandr Gritckevich	0.7267095746	17m	28
48	Хомячки	0.7201701223	16m	13
49	Alexander Dudin	0.7186868309	17m	21
50	сансеймайсамба	0.7167153642	16m	35