<p>Перед тем, как участвовать в соревновании, приглашаем вас в <a href="https://ods.ai/tracks/nlp_in_practice" rel="noopener noreferrer" target="_blank">трек &ldquo;NLP in practice&rdquo;</a>, где мы подробно разбираем все технические этапы, с которыми сталкиваются дата-сайентисты в NLP на практике. Переходите <a href="https://ods.ai/tracks/nlp_in_practice" rel="noopener noreferrer" target="_blank">по ссылке</a>, смотрите обучающие видео и участвуйте в квизах по ним!</p>

<h2><strong>Правила участия</strong></h2>

<p>Нажимая кнопку &quot;Участвовать&quot; и/или &quot;Отправить решение&quot;, вы соглашаетесь с <a href="http://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/AlfaDF23/Rules_Data_Fest_2023.pdf" rel="noopener noreferrer" target="_blank">Правилами проведения онлайн-соревнования &quot;Data Fest 2023. Соревнование по структуризации чеков ОФД&quot;.</a></p>

<h2><strong>Задача</strong></h2>

<p>Данные чеков ОФД содержат детальную информацию о тратах клиентов. Они помогают улучшать качество моделей кредитного скоринга и склонности к банковским продуктам, а также улучшать пользовательский опыт за счет структуризации трат клиентов в мобильном приложении. Однако работа с этим источником затрудняется его неструктурированностью: вся информация о купленном товаре лежит в одной строке произвольного формата.</p>

<p>В предположении что каждая чековая позиция описывает какой-либо товар, наименование этого товара, а также его бренд, являются главной информацией, которую можно извлечь из чека. По итогу задача структуризации этих данных ограничивается выделением и нормализацией брендов и товаров.</p>

<h2><strong>Данные</strong></h2>

<p>Участникам соревнования предоставляются два датасета с чековыми позициями, размеченный и неразмеченный:</p>

<ol>
<li>В размеченном датасете для каждой чековой позиции указаны нормализованные бренды и товары входящие в нее в исходном виде.</li>
<li>В неразмеченном датасете даны только сами чековые позиции.</li>
</ol>

<p>Подробное описание файлов и полей датасета соревнования можно найти во вкладке&nbsp;<a href="https://ods.ai/competitions/nlp-receipts/data" rel="noopener noreferrer" target="_blank">Данные</a>.</p>

<h2><strong>Метрика соревнования</strong></h2>

<p>Метрика соревнования - (F1_good + 2 * F1_brand) / 3, где F1_good- это метрика F1 на товарах, а F1_brand - это метрика F1 на брендах. Для подсчета F1 мы для считаем две метрики:</p>

<ul>
<li>Precision - доля сущностей из предсказания модели, которые оказались верными (то есть присутствуют в ответе для соответствующих примеров)</li>
<li>Recall - доля сущностей в ответах, которые выделила модель</li>
</ul>

<p>После чего метрика считается по знакомой формуле F1 = 2 / (1 / precision + 1 / recall)</p>

<p>Подробнее о данной модификации F1 для задач, подобных NER, можете прочитать по&nbsp;<a href="https://www.davidsbatista.net/blog/2018/05/09/Named_Entity_Evaluation/" rel="noopener noreferrer" target="_blank">ссылке</a> (раздел CoNLL).</p>

<h2><strong>Этапы соревнования</strong></h2>

<ol>
<li>CSV-соревнование<strong> (вы находитесь здесь)</strong>.

<ul>
<li>Сроки проведения: 2 июня 17:00 - 1 июля 23:59</li>
<li>Решения принимаются в формате CSV-файлов с ответами на тестовый датасет. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>В следующий этап проходят топ-20% (но не более 20) участников согласно окончательной таблице лидеров соревнования</li>
</ul>
</li>
<li>Docker-соревнование.
<ul>
<li>Сроки проведения: 2 июля 12:00 - 15 июля 23:59</li>
<li>Решения принимаются в формате Docker-контейнеров с инференсом модели. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>Для подтверждения участия в этом соревновании необходимо до 4 июля 23:59 отправить в соревнование решение в виде Docker-контейнера (формат описан в пункте &ldquo;Проверка решения&rdquo;) с лучшим решением этапа 1 в тестирующую систему (до этого момента в системе будет тестовый датасет из этапа 1). Участники, чей результат в CSV-соревновании будет сильно отличаться от результата их Docker-контейнера, будут дисквалифицированы.</li>
<li>В следующий этап проходят топ-10 команд согласно окончательной таблице лидеров соревнования</li>
</ul>
</li>
<li>Доразметка.
<ul>
<li>Сроки проведения: 16 июля 12:00 - 23 июля 23:59</li>
<li>Для получения дополнительной разметки каждая команда дошедшая до данного этапа может выбрать среди неразмеченного датасета не более 3000 примеров и направить их идентификаторы организаторам не позднее 16 июля 23:59 в&nbsp;<a href="https://t.me/xterrafunny" rel="noopener noreferrer" target="_blank">telegram</a>.</li>
<li>Не позднее 23 июля 23:59 организаторы вышлют всем командам, которые запрашивали дополнительную разметку, их размеченные примеры через telegram.</li>
</ul>
</li>
<li>Docker-соревнование.
<ul>
<li>Сроки проведения: 24 июля 12:00 - 6 августа 23:59</li>
<li>На данном этапе разрешается использовать доразметку полученную на этапе 3</li>
<li>Решения принимаются в формате Docker-контейнеров с инференсом модели. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>Авторы трех решений с наибольшей метрикой на private-части объявляются победителями и делят денежный приз</li>
</ul>
</li>
</ol>

<h2><strong>Проверка решения</strong></h2>

<h2><strong>Этап 1</strong></h2>

<p>Решения принимаются в виде csv-файла с тремя колонками: &quot;id&quot; - уникальный идентификтор, &quot;brand&quot; - бренды содержащиеся в данной чековой позиции, и &quot;good&quot; - товары содержащиеся в данной чековой позиции. Пример сабмита можно найти в файле sample_submission.csv.</p>

<p>Если в чековой позиции содержится больше одного бренда или товара, то нужно указать их через запятую. Промежуточные итоги подводятся на public-части тестовой выборки. Победители и призеры определяются на private-части тестовой выборки. И промежуточную, и окончательную таблицу лидеров можно найти во вкладке&nbsp;<a href="https://ods.ai/competitions/nlp-receipts/leaderboard" rel="noopener noreferrer" target="_blank">Таблица лидеров</a>.</p>

<h2><strong>Этапы 2 и 4</strong></h2>

<p>Решения принимаются в виде zip-архива размером не более 5Gb, имеющего структуру:</p>

<ul>
<li>metadata.json</li>
<li>user_file_1</li>
<li>user_file_2</li>
<li>&hellip;</li>
<li>user_file_n</li>
</ul>

<p>В файле metadata.json должны быть два поля:</p>

<ul>
<li>image - публичный образ в DockerHub, например &ldquo;xterrafunny/baseline-nlp-in-practice:latest&rdquo;</li>
<li>entry_point - команда для запуска в контейнере, например &ldquo;python run.py&rdquo;</li>
</ul>

<p>Решение запускается в Docker-контейнере, указанном в metadata.json. На вход в entry_point подаются:</p>

<ul>
<li><code>--dataset DATASET_PATH</code> - путь к датасету</li>
<li><code>--output OUTPUT_PATH</code> - путь для сохранения предсказаний модели</li>
</ul>

<p>Пример подаваемых аргументов: <code>--dataset ./dataset.csv --output ./pred.csv</code></p>

<p>Ресурсы для образа:</p>

<ul>
<li>8 vCPU</li>
<li>96Gb RAM</li>
<li>Nvidia V100, 32Gb</li>
<li>10Gb дискового пространства</li>
<li>Время на исполнение - 45 минут</li>
</ul>

<p>Предсказания модели должны представлять собой csv-файл с тремя колонками: &quot;id&quot; - уникальный идентификтор, &quot;brand&quot; - бренды содержащиеся в данной чековой позиции, и &quot;good&quot; - товары содержащиеся в данной чековой позиции. Пример предсказаний можно найти в файле sample_submission.csv. Если в чековой позиции содержится больше одного бренда или товара, то нужно указать их через запятую.</p>

<p>Промежуточные итоги подводятся на public-части тестовой выборки. Победители и призеры определяются на private-части тестовой выборки.</p>

<h2><strong>Использование внешней разметки</strong></h2>

<p>Запрещается использовать полученную вручную разметку, кроме предоставленной организаторами в датасетах и в рамках процесса доразметки, в выборках для модели, а также в посылках. Организаторы имеют право запросить Docker-контейнер с обучением и инференсом модели для подтверждения честности полученных результатов.</p>

<p>Однако разрешается собирать неразмеченные данные из открытых источников, при условии полной автоматизации данного процесса (то есть участник может предоставить Docker-контейнер в котором воспроизводится весь процесс)</p>

<h2><strong>Объединение в команды</strong></h2>

<p>В соревновании разрешено объединение участников в команды до 3 человек. Возможность объединения в команды закрывается 24 июня в 23:59.</p>

<h2><strong>Базовые решения и полезные функции</strong></h2>

<p>Чтобы помочь вам быстрее влиться в задачу соревнования, мы подготовили несколько базовых решений задачи. Все эти материалы можно найти в репозитории по&nbsp;<a href="https://github.com/xterrafunny/nlp_in_practice_receipts" rel="noopener noreferrer" target="_blank">ссылке</a>.</p>

<h2><strong>Призовой фонд</strong></h2>

<p>Призовой фонд разделят авторы 3 решений с наибольшей метрикой на private-части тестовой выборки на этапе 4</p>

<ul>
<li>1 место &ndash; 450 000 рублей</li>
<li>2 место &ndash; 250 000 рублей</li>
<li>3 место &ndash; 100 000 рублей</li>
</ul>

<p>Для получения денежных призов победителям и призерам соревнования необходимо прислать свое решение в виде Docker-контейнера, содержащего код для обучения и инференса лучшей модели на языке Python.</p>

Примите участие в первом DataScience-соревновании от Альфа-Банка! Это не будет соревнованием по машинному обучению, так как на последнем этапе вы не будете подбирать гиперпараметры, а будете выбирать данные для разметки, как это происходит на практике, чтобы улучшить свое решение

Public

Private

User Agreement

<p>I accept <a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/UserAgreement.pdf" rel="noopener noreferrer" target="_blank">Terms of User Agreement and Privacy Policy</a></p>

Privacy Policy

<p>I give my<a href="http://storage.yandexcloud.net/ds-ods/files/data/docs/events/DataFest2023/20230324-Consent_en.pdf"> consen</a>t to &laquo;Sorevnovaniya Analiza Dannykh&raquo; LLC to process and transfer my personal data to the partners of the event for information interaction</p>

Consent

<p>I agree to receive newsletters from &laquo;Sorevnovaniya Analiza Dannykh&raquo; LLC&nbsp;about key ODS.AI activities</p>

<p>I am Interested in receiving job offers</p>

first_name

First name

last_name

Last name

country

Country (lat)

city

City (lat)

email

Email

tg_name

Your telegram nickname

study_place

Study place

study_specialty

Study specialty

work_place

Work place

work_position

Work position

expectations

Expectations

interests

Interests

preferred_language

Preferred language

about

About

Registration application for Data Fest Online 2023

Соревнование по структуризации чеков ОФД

Predictions

Методы семантического анализа текстов и их роли в постановке задачи

Теория

Видео 1: Кластеризация данных

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по первому видео: "Кластеризация данных"

Квест

Квиз по видео 1

Построение эффективного процесса разметки и его поддержка

Видео 2: Разметка данных

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по второму видео: "Разметка данных"

Квиз по видео 2

Обзор классов моделей NLP, их практической целесообразности для конкретных задач и методов эффективной разработки

Видео 3: Моделирование

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по третьему видео: "Моделирование"

Квиз по видео 3

Путь развития чат-бота Альфа-Банка, структура его модельных компонент, непрерывный процесс их улучшения и роль разметки в продукте

Видео 4: История разработки чат-бота

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по четвертому видео: "История разработки чат-бота"

Квиз по видео 4

Легаси голосового бота Альфа-Банка и переход на современные методы

Видео 5: История разработки Voice Bot

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по пятому видео: "История разработки Voice Bot"

Квиз по видео 5

Оптимизация рутины для сотрудников контакт-центра по классификации обращений клиентов на 1000+ классов

Видео 6: История разработки Единого Классификатора

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по шестому видео: "История разработки Единого Классификатора"

Квиз по видео 6

Оптимизация  рутины по работе с обратной связью

Видео 7: Анализ обратной связи от клиентов

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по седьмому видео: "Анализ обратной связи от клиентов"

Квиз по видео 7

Ускорение работы операторов за счет модельных рекомендаций

Видео 8: История разработки ассистента оператора

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по восьмому видео: "История разработки ассистента оператора"

Квиз по видео 8

Как выделить структуру в чековых данных и как ее использовать в бизнес-задачах банка

Видео 9: Структуризация чеков ОФД

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по девятому видео: "Структуризация чеков ОФД"

Квиз по видео 9

Все о формате соревнования по структуризации чеков ОФД: постановка задачи, метрики, данные, этапы проведения, бейзлайны

Видео 10: Соревнование по структуризации чеков ОФД

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по десятому видео: "Соревнование по структуризации чеков ОФД"

Квиз по видео 10

Дискуссия о прикладном NLP, применении хайповых ChatGPT-like моделей в реальном продакшене, о перспективах генерации кода языковыми моделями, о важности данных и разметки, а также о том, на что обратить внимание начинающим специалистам, вкатывающимся в NLP.

Видео 11: Как ChatGPT изменит Data Science?

Структуризация чеков ОФД

Соревнование

Зум-встреча в рамках "Соревнования по структуризации чеков ОФД"  от Лаборатории машинного обучения Альфа-Банка, на которой запускаем и разбираем бейзлайн и отвечает на вопросы участников по соревнованию!

Видео 12: Зум-встреча. Разбор бейзлайна

FeaturedBanner-e750da0a

FeaturedBanner-a28dd859

FeaturedBanner-3e9dad85

FeaturedBanner-819e3ebb

FeaturedBanner-63442d08

<p><strong>Что такое NLP in practice</strong></p>

<p>Бесплатный курс Лаборатории машинного обучения Альфа-Банка для всех, кто интересуется Data Science.</p>

<p>&nbsp;</p>

<p><strong>Чему научим</strong></p>

<p>Подробно разберём все технические этапы, с которыми сталкиваются дата-сайентисты в NLP на практике. Изучим:</p>

<ul>
<li>технические тематики семантического анализа &mdash; пререквизит для корректной постановки задачи</li>
<li>разметку данных &mdash; ресурс для обучения модели</li>
<li>стратегии выбора класса моделей необходимого и достаточного уровня сложности</li>
</ul>

<p>Поделимся опытом построения NLP-based продуктов Альфа-Банка: чат-бота, голосового бота, ассистента оператора. Расскажем, как находим инсайты с помощью категоризации оценок клиентов.</p>

<p>&nbsp;</p>

<p><strong>Что в финале</strong></p>

<p>После обучения устроим для всех участников Data Science-соревнование. Будет именно практическое соревнование по анализу данных, а не очередное ml-соревнование. В этом соревновании участники последнего этапа смогут улучшить свои решения за счет доотправки данных на доразметку, как это и происходит на практике.</p>

<p>Троих лучших ждут призы:</p>

<p>1 место &mdash; 450 тысяч рублей</p>

<p>2 место &mdash; 250 тысяч рублей</p>

<p>3 место &mdash; 100 тысяч рублей</p>

<p>&nbsp;</p>

<p>Учитесь и участвуйте в соревновании!</p>

<p>&nbsp;</p>

<p>&nbsp;</p>

Особенности применения NLP в практических задачах

train_supervised_dataset.csv	2 MB
train_unsupervised_dataset.csv	72 MB
test_dataset.csv	1 MB
sample_submission.csv	1 MB

Materials (76 MB)