Перед тем, как участвовать в соревновании, приглашаем вас в <a href="https://ods.ai/tracks/nlp_in_practice" rel="noopener noreferrer" target="_blank">трек &ldquo;NLP in practice&rdquo;</a>, где мы подробно разбираем все технические этапы, с которыми сталкиваются дата-сайентисты в NLP на практике. Переходите <a href="https://ods.ai/tracks/nlp_in_practice" rel="noopener noreferrer" target="_blank">по ссылке</a>, смотрите обучающие видео и участвуйте в квизах по ним!

<h2>Обязательные действия для подтверждения участия во втором этапе:</h2>

<ol>
<li>До 4 июля 23:59 объединиться в те же команды, что и в первом этапе</li>
<li>До 4 июля 23:59 отправить решение первого этапа в виде Docker-контейнера в тестирующую систему</li>
</ol>

Подробнее смотрите в пункте &ldquo;Этапы соревнования&rdquo;

<h2>Задача</h2>

Данные чеков ОФД содержат детальную информацию о тратах клиентов. Они помогают улучшать качество моделей кредитного скоринга и склонности к банковским продуктам, а также улучшать пользовательский опыт за счет структуризации трат клиентов в мобильном приложении. Однако работа с этим источником затрудняется его неструктурированностью: вся информация о купленном товаре лежит в одной строке произвольного формата.

В предположении что каждая чековая позиция описывает какой-либо товар, наименование этого товара, а также его бренд, являются главной информацией, которую можно извлечь из чека. По итогу задача структуризации этих данных ограничивается выделением и нормализацией брендов и товаров.

<h2>Данные</h2>

Участникам соревнования предоставляются два датасета с чековыми позициями, размеченный и неразмеченный:

<ol>
<li>В размеченном датасете для каждой чековой позиции указаны нормализованные бренды и товары входящие в нее в исходном виде.</li>
<li>В неразмеченном датасете даны только сами чековые позиции.</li>
</ol>

Обратите внимание что размеченный датасет увеличился по сравнению с первым этапом, и его можно использовать в решениях второго и последующих этапов

Подробное описание файлов и полей датасета соревнования можно найти во вкладке&nbsp;<a href="https://ods.ai/competitions/alfabank-nlp-receipts-2/dataset" rel="noopener noreferrer" target="_blank">Данные</a>.

<h2>Метрика соревнования</h2>

Метрика соревнования - (F1_good + 2 * F1_brand) / 3, где F1_good- это метрика F1 на товарах, а F1_brand - это метрика F1 на брендах. Для подсчета F1 мы для считаем две метрики:

<ul>
<li>Precision - доля сущностей из предсказания модели, которые оказались верными (то есть присутствуют в ответе для соответствующих примеров)</li>
<li>Recall - доля сущностей в ответах, которые выделила модель</li>
</ul>

После чего метрика считается по знакомой формуле F1 = 2 / (1 / precision + 1 / recall)

Подробнее о данной модификации F1 для задач, подобных NER, можете прочитать по&nbsp;<a href="https://www.davidsbatista.net/blog/2018/05/09/Named_Entity_Evaluation/" rel="noopener noreferrer" target="_blank">ссылке</a> (раздел CoNLL).

<h2>Этапы соревнования</h2>

<ol>
<li>CSV-соревнование (ПРОШЛО).
<ul>
<li>Сроки проведения: 2 июня 17:00 - 1 июля 23:59</li>
<li>Решения принимаются в формате CSV-файлов с ответами на тестовый датасет. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>В следующий этап проходят топ-20% (но не более 20) участников согласно окончательной таблице лидеров соревнования</li>
</ul>
</li>
<li>Docker-соревнование (ВЫ НАХОДИТЕСЬ ЗДЕСЬ).
<ul>
<li>Сроки проведения: 2 июля 12:00 - 15 июля 23:59</li>
<li>Решения принимаются в формате Docker-контейнеров с инференсом модели. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>Для подтверждения участия в этом соревновании необходимо до 4 июля 23:59
<ul>
<li>объединиться в те же команды, что и в первом этапе</li>
<li>отправить в соревнование решение в виде Docker-контейнера (формат описан в пункте &ldquo;Проверка решения&rdquo;) с лучшим решением этапа 1 в тестирующую систему (до этого момента в системе будет тестовый датасет из этапа 1). Участники, чей результат в CSV-соревновании будет сильно отличаться от результата их Docker-контейнера, будут дисквалифицированы. Эти сабмиты не будут учитываться при отборе участников в следующий этап</li>
</ul>
</li>
<li>5 июля лидерборд сброситься, а также в тестирующую систему будет загружена тестовая выборка второго этапа. Отбор будет происходить именно по результатам на новой тестовой выборке</li>
<li>В следующий этап проходят топ-10 команд согласно окончательной таблице лидеров соревнования.</li>
</ul>
</li>
<li>Доразметка.
<ul>
<li>Сроки проведения: 16 июля 12:00 - 23 июля 23:59</li>
<li>Для получения дополнительной разметки каждая команда дошедшая до данного этапа может выбрать среди неразмеченного датасета не более 3000 примеров и направить их идентификаторы организаторам не позднее 16 июля 23:59 в&nbsp;<a href="https://t.me/xterrafunny" rel="noopener noreferrer" target="_blank">telegram</a>.</li>
<li>Формат запроса: csv-файл c &le; 3000 идентификаторов (колонка id) из файла train_unsupervised.csv. Пример есть на вкладке <a href="https://ods.ai/competitions/alfabank-nlp-receipts-2/dataset" rel="noopener noreferrer" target="_blank">данные</a>.</li>
<li>Не позднее 23 июля 23:59 организаторы вышлют всем командам, которые запрашивали дополнительную разметку, их размеченные примеры через telegram.</li>
</ul>
</li>
<li>Docker-соревнование.
<ul>
<li>Сроки проведения: 24 июля 12:00 - 6 августа 23:59</li>
<li>На данном этапе разрешается использовать доразметку полученную на этапе 3</li>
<li>Решения принимаются в формате Docker-контейнеров с инференсом модели. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>Авторы трех решений с наибольшей метрикой на private-части объявляются победителями и делят денежный приз</li>
</ul>
</li>
</ol>

<h2>Проверка решения</h2>

<h2>Этап 1</h2>

Решения принимаются в виде csv-файла с тремя колонками: &quot;id&quot; - уникальный идентификтор, &quot;brand&quot; - бренды содержащиеся в данной чековой позиции, и &quot;good&quot; - товары содержащиеся в данной чековой позиции. Пример сабмита можно найти в файле sample_submission.csv.

Если в чековой позиции содержится больше одного бренда или товара, то нужно указать их через запятую. Промежуточные итоги подводятся на public-части тестовой выборки. Победители и призеры определяются на private-части тестовой выборки.

<h2>Этапы 2 и 4</h2>

Решения принимаются в виде zip-архива размером не более 5Gb, имеющего структуру:

<ul>
<li>metadata.json</li>
<li>user_file_1</li>
<li>user_file_2</li>
<li>&hellip;</li>
<li>user_file_n</li>
</ul>

В файле metadata.json должны быть два поля:

<ul>
<li>image - публичный образ в DockerHub, например &ldquo;xterrafunny/baseline-nlp-in-practice:latest&rdquo;</li>
<li>entry_point - команда для запуска в контейнере, например &ldquo;python run.py&rdquo;</li>
</ul>

Решение запускается в Docker-контейнере, указанном в metadata.json. На вход в entry_point подаются:

<ul>
<li><code>--dataset DATASET_PATH</code> - путь к датасету</li>
<li><code>--output OUTPUT_PATH</code> - путь для сохранения предсказаний модели</li>
</ul>

Пример подаваемых аргументов: <code>--dataset ./dataset.csv --output ./pred.csv</code>

Примеры Dockerfile&#39;а и архива с решением вы можете найти на вкладке <a href="https://ods.ai/competitions/alfabank-nlp-receipts-2/dataset" rel="noopener noreferrer" target="_blank">Данные</a>

Ресурсы для образа:

<ul>
<li>8 vCPU</li>
<li>96Gb RAM</li>
<li>Nvidia V100, 32Gb</li>
<li>10Gb дискового пространства</li>
<li>Время на исполнение - 45 минут
<ul>
<li>5 минут на check - 10 примеров, не учитывается в метрике</li>
<li>20 минут на public - 5000 примеров (2500 до 4 июля включительно)</li>
<li>20 минут на private - 5000 примеров (2500 до 4 июля включительно)</li>
</ul>
</li>
</ul>

Предсказания модели должны представлять собой csv-файл с тремя колонками: &quot;id&quot; - уникальный идентификтор, &quot;brand&quot; - бренды содержащиеся в данной чековой позиции, и &quot;good&quot; - товары содержащиеся в данной чековой позиции. Пример предсказаний можно найти в файле sample_submission.csv. Если в чековой позиции содержится больше одного бренда или товара, то нужно указать их через запятую.

Промежуточные итоги подводятся на public-части тестовой выборки. Победители и призеры определяются на private-части тестовой выборки. И промежуточную, и окончательную таблицу лидеров текущего этапа можно найти во вкладке&nbsp;<a href="https://ods.ai/competitions/alfabank-nlp-receipts-2/leaderboard" rel="noopener noreferrer" target="_blank">Таблица лидеров</a>.

<h2>Использование внешней разметки</h2>

Запрещается использовать полученную вручную разметку, кроме предоставленной организаторами в датасетах и в рамках процесса доразметки, в выборках для модели, а также в посылках. Организаторы имеют право запросить Docker-контейнер с обучением и инференсом модели для подтверждения честности полученных результатов.

Однако разрешается собирать неразмеченные данные из открытых источников, при условии полной автоматизации данного процесса (то есть участник может предоставить Docker-контейнер в котором воспроизводится весь процесс)

<h2>Базовые решения и полезные функции</h2>

Чтобы помочь вам быстрее влиться в задачу соревнования, мы подготовили несколько базовых решений задачи. Все эти материалы можно найти в репозитории по&nbsp;<a href="https://github.com/xterrafunny/nlp_in_practice_receipts" rel="noopener noreferrer" target="_blank">ссылке</a>.

<h2>Призовой фонд</h2>

Призовой фонд разделят авторы 3 решений с наибольшей метрикой на private-части тестовой выборки на этапе 4

<ul>
<li>1 место &ndash; 450 000 рублей</li>
<li>2 место &ndash; 250 000 рублей</li>
<li>3 место &ndash; 100 000 рублей</li>
</ul>

Для получения денежных призов победителям и призерам соревнования необходимо прислать свое решение в виде Docker-контейнера, содержащего код для обучения и инференса лучшей модели на языке Python.

Второй этап соревнования от Альфа-Банка! Это не будет соревнованием по машинному обучению, так как на последнем этапе вы не будете подбирать гиперпараметры, а будете выбирать данные для разметки, как это происходит на практике, чтобы улучшить свое решение

Public

Private

Данные

User Agreement

I accept <a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/UserAgreement.pdf" rel="noopener noreferrer" target="_blank">Terms of User Agreement and Privacy Policy</a>

Privacy Policy

I give my <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/AlfaDF23/consents/20230417-Consent-General.pdf">consent</a> to &laquo;Sorevnovaniya Analiza Dannykh&raquo; LLC to process and transfer my personal data to the partners of the event for information interaction

Consent

I agree to receive newsletters from &laquo;Sorevnovaniya Analiza Dannykh&raquo; LLC&nbsp;about key ODS.AI activities

&nbsp;

Hi!

The competition consists of several stages, the current registration is stage 2, the participants who made it to the top 20 of the stage 1 are allowed here.

Please enter the same email you used to register for stage 1.

&nbsp;

Fields with an asterisk * are mandatory.

&nbsp;

&nbsp;

first_name

First name

last_name

Last name

country

Country (lat)

city

City (lat)

Citizenship

email

Email

tg_name

Your telegram nickname

study_place

Study place

study_specialty

Study specialty

work_place

Work place

work_position

Work position

expectations

Expectations

interests

Interests

about

About

referral

How did you know about the competition?

competitionsExperience

Experience in IT competitions and hackathons

Registration application for Alfa contest 2nd stage

2 этап «Соревнования по структуризации чеков ОФД». Docker-соревнование

Predictions

Q: Сколько объектов в private-части тестовой выборки? A: Тестовая выборка разбита на public и private части в отношении 1 к 1.Q: Как проверяется корректность брендов и товаров, предсказанных моделью? A: Корректным считается только полное совпадениеQ: В какие-то дни я использовал не все возможные попытки для отправки решения, можно ли воспользоваться ими в будущем? A: Нет, в день можно отправить максимум 3 решения. Неиспользованные попытки сгорают.Q: Где я могу найти код базовых решений? A: Бейзлайны опубликованы <a target="_blank" rel="noopener noreferrer" href="https://github.com/xterrafunny/nlp_in_practice_receipts">здесь</a>.Q: Можно ли размечать unsupervised часть? A: Вручную - нет. Только в автоматическом режиме (например предсказание простой моделью, парсинг совпадений в открытых источниках, поиск брендов/товаров в качестве подстрок).Q: Можно ли размечать supervised часть? A: С supervised частью вы вольны делать что угодно.Q: У меня остались вопросы. Где могу получить ответ на них? A: Вступай в <a target="_blank" rel="noopener noreferrer" href="https://t.me/nlp_in_practice">чат Телеграм</a>, делись идеями, задавай вопросы и отвечай на вопросы других участников.