<p>Перед тем, как участвовать в соревновании, приглашаем вас в <a href="https://ods.ai/tracks/nlp_in_practice" rel="noopener noreferrer" target="_blank">трек &ldquo;NLP in practice&rdquo;</a>, где мы подробно разбираем все технические этапы, с которыми сталкиваются дата-сайентисты в NLP на практике. Переходите <a href="https://ods.ai/tracks/nlp_in_practice" rel="noopener noreferrer" target="_blank">по ссылке</a>, смотрите обучающие видео и участвуйте в квизах по ним!</p>

<h2><strong>Правила участия</strong></h2>

<p>Нажимая кнопку &quot;Участвовать&quot; и/или &quot;Отправить решение&quot;, вы соглашаетесь с <a href="http://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/AlfaDF23/Rules_Data_Fest_2023.pdf" rel="noopener noreferrer" target="_blank">Правилами проведения онлайн-соревнования &quot;Data Fest 2023. Соревнование по структуризации чеков ОФД&quot;.</a></p>

<h2><strong>Задача</strong></h2>

<p>Данные чеков ОФД содержат детальную информацию о тратах клиентов. Они помогают улучшать качество моделей кредитного скоринга и склонности к банковским продуктам, а также улучшать пользовательский опыт за счет структуризации трат клиентов в мобильном приложении. Однако работа с этим источником затрудняется его неструктурированностью: вся информация о купленном товаре лежит в одной строке произвольного формата.</p>

<p>В предположении что каждая чековая позиция описывает какой-либо товар, наименование этого товара, а также его бренд, являются главной информацией, которую можно извлечь из чека. По итогу задача структуризации этих данных ограничивается выделением и нормализацией брендов и товаров.</p>

<h2><strong>Данные</strong></h2>

<p>Участникам соревнования предоставляются два датасета с чековыми позициями, размеченный и неразмеченный:</p>

<ol>
<li>В размеченном датасете для каждой чековой позиции указаны нормализованные бренды и товары входящие в нее в исходном виде.</li>
<li>В неразмеченном датасете даны только сами чековые позиции.</li>
</ol>

<p>Подробное описание файлов и полей датасета соревнования можно найти во вкладке&nbsp;<a href="https://ods.ai/competitions/nlp-receipts/data" rel="noopener noreferrer" target="_blank">Данные</a>.</p>

<h2><strong>Метрика соревнования</strong></h2>

<p>Метрика соревнования - (F1_good + 2 * F1_brand) / 3, где F1_good- это метрика F1 на товарах, а F1_brand - это метрика F1 на брендах. Для подсчета F1 мы для считаем две метрики:</p>

<ul>
<li>Precision - доля сущностей из предсказания модели, которые оказались верными (то есть присутствуют в ответе для соответствующих примеров)</li>
<li>Recall - доля сущностей в ответах, которые выделила модель</li>
</ul>

<p>После чего метрика считается по знакомой формуле F1 = 2 / (1 / precision + 1 / recall)</p>

<p>Подробнее о данной модификации F1 для задач, подобных NER, можете прочитать по&nbsp;<a href="https://www.davidsbatista.net/blog/2018/05/09/Named_Entity_Evaluation/" rel="noopener noreferrer" target="_blank">ссылке</a> (раздел CoNLL).</p>

<h2><strong>Этапы соревнования</strong></h2>

<ol>
<li>CSV-соревнование<strong> (вы находитесь здесь)</strong>.

<ul>
<li>Сроки проведения: 2 июня 17:00 - 1 июля 23:59</li>
<li>Решения принимаются в формате CSV-файлов с ответами на тестовый датасет. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>В следующий этап проходят топ-20% (но не более 20) участников согласно окончательной таблице лидеров соревнования</li>
</ul>
</li>
<li>Docker-соревнование.
<ul>
<li>Сроки проведения: 2 июля 12:00 - 15 июля 23:59</li>
<li>Решения принимаются в формате Docker-контейнеров с инференсом модели. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>Для подтверждения участия в этом соревновании необходимо до 4 июля 23:59 отправить в соревнование решение в виде Docker-контейнера (формат описан в пункте &ldquo;Проверка решения&rdquo;) с лучшим решением этапа 1 в тестирующую систему (до этого момента в системе будет тестовый датасет из этапа 1). Участники, чей результат в CSV-соревновании будет сильно отличаться от результата их Docker-контейнера, будут дисквалифицированы.</li>
<li>В следующий этап проходят топ-10 команд согласно окончательной таблице лидеров соревнования</li>
</ul>
</li>
<li>Доразметка.
<ul>
<li>Сроки проведения: 16 июля 12:00 - 23 июля 23:59</li>
<li>Для получения дополнительной разметки каждая команда дошедшая до данного этапа может выбрать среди неразмеченного датасета не более 3000 примеров и направить их идентификаторы организаторам не позднее 16 июля 23:59 в&nbsp;<a href="https://t.me/xterrafunny" rel="noopener noreferrer" target="_blank">telegram</a>.</li>
<li>Не позднее 23 июля 23:59 организаторы вышлют всем командам, которые запрашивали дополнительную разметку, их размеченные примеры через telegram.</li>
</ul>
</li>
<li>Docker-соревнование.
<ul>
<li>Сроки проведения: 24 июля 12:00 - 6 августа 23:59</li>
<li>На данном этапе разрешается использовать доразметку полученную на этапе 3</li>
<li>Решения принимаются в формате Docker-контейнеров с инференсом модели. Подробнее смотрите в пункте &quot;Проверка решения&quot;</li>
<li>Авторы трех решений с наибольшей метрикой на private-части объявляются победителями и делят денежный приз</li>
</ul>
</li>
</ol>

<h2><strong>Проверка решения</strong></h2>

<h2><strong>Этап 1</strong></h2>

<p>Решения принимаются в виде csv-файла с тремя колонками: &quot;id&quot; - уникальный идентификтор, &quot;brand&quot; - бренды содержащиеся в данной чековой позиции, и &quot;good&quot; - товары содержащиеся в данной чековой позиции. Пример сабмита можно найти в файле sample_submission.csv.</p>

<p>Если в чековой позиции содержится больше одного бренда или товара, то нужно указать их через запятую. Промежуточные итоги подводятся на public-части тестовой выборки. Победители и призеры определяются на private-части тестовой выборки. И промежуточную, и окончательную таблицу лидеров можно найти во вкладке&nbsp;<a href="https://ods.ai/competitions/nlp-receipts/leaderboard" rel="noopener noreferrer" target="_blank">Таблица лидеров</a>.</p>

<h2><strong>Этапы 2 и 4</strong></h2>

<p>Решения принимаются в виде zip-архива размером не более 5Gb, имеющего структуру:</p>

<ul>
<li>metadata.json</li>
<li>user_file_1</li>
<li>user_file_2</li>
<li>&hellip;</li>
<li>user_file_n</li>
</ul>

<p>В файле metadata.json должны быть два поля:</p>

<ul>
<li>image - публичный образ в DockerHub, например &ldquo;xterrafunny/baseline-nlp-in-practice:latest&rdquo;</li>
<li>entry_point - команда для запуска в контейнере, например &ldquo;python run.py&rdquo;</li>
</ul>

<p>Решение запускается в Docker-контейнере, указанном в metadata.json. На вход в entry_point подаются:</p>

<ul>
<li><code>--dataset DATASET_PATH</code> - путь к датасету</li>
<li><code>--output OUTPUT_PATH</code> - путь для сохранения предсказаний модели</li>
</ul>

<p>Пример подаваемых аргументов: <code>--dataset ./dataset.csv --output ./pred.csv</code></p>

<p>Ресурсы для образа:</p>

<ul>
<li>8 vCPU</li>
<li>96Gb RAM</li>
<li>Nvidia V100, 32Gb</li>
<li>10Gb дискового пространства</li>
<li>Время на исполнение - 45 минут</li>
</ul>

<p>Предсказания модели должны представлять собой csv-файл с тремя колонками: &quot;id&quot; - уникальный идентификтор, &quot;brand&quot; - бренды содержащиеся в данной чековой позиции, и &quot;good&quot; - товары содержащиеся в данной чековой позиции. Пример предсказаний можно найти в файле sample_submission.csv. Если в чековой позиции содержится больше одного бренда или товара, то нужно указать их через запятую.</p>

<p>Промежуточные итоги подводятся на public-части тестовой выборки. Победители и призеры определяются на private-части тестовой выборки.</p>

<h2><strong>Использование внешней разметки</strong></h2>

<p>Запрещается использовать полученную вручную разметку, кроме предоставленной организаторами в датасетах и в рамках процесса доразметки, в выборках для модели, а также в посылках. Организаторы имеют право запросить Docker-контейнер с обучением и инференсом модели для подтверждения честности полученных результатов.</p>

<p>Однако разрешается собирать неразмеченные данные из открытых источников, при условии полной автоматизации данного процесса (то есть участник может предоставить Docker-контейнер в котором воспроизводится весь процесс)</p>

<h2><strong>Объединение в команды</strong></h2>

<p>В соревновании разрешено объединение участников в команды до 3 человек. Возможность объединения в команды закрывается 24 июня в 23:59.</p>

<h2><strong>Базовые решения и полезные функции</strong></h2>

<p>Чтобы помочь вам быстрее влиться в задачу соревнования, мы подготовили несколько базовых решений задачи. Все эти материалы можно найти в репозитории по&nbsp;<a href="https://github.com/xterrafunny/nlp_in_practice_receipts" rel="noopener noreferrer" target="_blank">ссылке</a>.</p>

<h2><strong>Призовой фонд</strong></h2>

<p>Призовой фонд разделят авторы 3 решений с наибольшей метрикой на private-части тестовой выборки на этапе 4</p>

<ul>
<li>1 место &ndash; 450 000 рублей</li>
<li>2 место &ndash; 250 000 рублей</li>
<li>3 место &ndash; 100 000 рублей</li>
</ul>

<p>Для получения денежных призов победителям и призерам соревнования необходимо прислать свое решение в виде Docker-контейнера, содержащего код для обучения и инференса лучшей модели на языке Python.</p>

Примите участие в первом DataScience-соревновании от Альфа-Банка! Это не будет соревнованием по машинному обучению, так как на последнем этапе вы не будете подбирать гиперпараметры, а будете выбирать данные для разметки, как это происходит на практике, чтобы улучшить свое решение

Public

Private

User Agreement

<p>I accept <a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/UserAgreement.pdf" rel="noopener noreferrer" target="_blank">Terms of User Agreement and Privacy Policy</a></p>

Privacy Policy

<p>I give my<a href="http://storage.yandexcloud.net/ds-ods/files/data/docs/events/DataFest2023/20230324-Consent_en.pdf"> consen</a>t to &laquo;Sorevnovaniya Analiza Dannykh&raquo; LLC to process and transfer my personal data to the partners of the event for information interaction</p>

Consent

<p>I agree to receive newsletters from &laquo;Sorevnovaniya Analiza Dannykh&raquo; LLC&nbsp;about key ODS.AI activities</p>

<p>I am Interested in receiving job offers</p>

first_name

First name

last_name

Last name

country

Country (lat)

city

City (lat)

email

Email

tg_name

Your telegram nickname

study_place

Study place

study_specialty

Study specialty

work_place

Work place

work_position

Work position

expectations

Expectations

interests

Interests

preferred_language

Preferred language

about

About

Registration application for Data Fest Online 2023

Соревнование по структуризации чеков ОФД

Predictions

Методы семантического анализа текстов и их роли в постановке задачи

Теория

Видео 1: Кластеризация данных

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по первому видео: "Кластеризация данных"

Квест

Квиз по видео 1

Построение эффективного процесса разметки и его поддержка

Видео 2: Разметка данных

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по второму видео: "Разметка данных"

Квиз по видео 2

Обзор классов моделей NLP, их практической целесообразности для конкретных задач и методов эффективной разработки

Видео 3: Моделирование

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по третьему видео: "Моделирование"

Квиз по видео 3

Путь развития чат-бота Альфа-Банка, структура его модельных компонент, непрерывный процесс их улучшения и роль разметки в продукте

Видео 4: История разработки чат-бота

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по четвертому видео: "История разработки чат-бота"

Квиз по видео 4

Легаси голосового бота Альфа-Банка и переход на современные методы

Видео 5: История разработки Voice Bot

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по пятому видео: "История разработки Voice Bot"

Квиз по видео 5

Оптимизация рутины для сотрудников контакт-центра по классификации обращений клиентов на 1000+ классов

Видео 6: История разработки Единого Классификатора

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по шестому видео: "История разработки Единого Классификатора"

Квиз по видео 6

Оптимизация  рутины по работе с обратной связью

Видео 7: Анализ обратной связи от клиентов

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по седьмому видео: "Анализ обратной связи от клиентов"

Квиз по видео 7

Ускорение работы операторов за счет модельных рекомендаций

Видео 8: История разработки ассистента оператора

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по восьмому видео: "История разработки ассистента оператора"

Квиз по видео 8

Как выделить структуру в чековых данных и как ее использовать в бизнес-задачах банка

Видео 9: Структуризация чеков ОФД

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по девятому видео: "Структуризация чеков ОФД"

Квиз по видео 9

Все о формате соревнования по структуризации чеков ОФД: постановка задачи, метрики, данные, этапы проведения, бейзлайны

Видео 10: Соревнование по структуризации чеков ОФД

В данном квизе предлагаем тебе ответить на вопросы (серьезные и не очень) по десятому видео: "Соревнование по структуризации чеков ОФД"

Квиз по видео 10

Дискуссия о прикладном NLP, применении хайповых ChatGPT-like моделей в реальном продакшене, о перспективах генерации кода языковыми моделями, о важности данных и разметки, а также о том, на что обратить внимание начинающим специалистам, вкатывающимся в NLP.

Видео 11: Как ChatGPT изменит Data Science?

Структуризация чеков ОФД

Соревнование

Зум-встреча в рамках "Соревнования по структуризации чеков ОФД"  от Лаборатории машинного обучения Альфа-Банка, на которой запускаем и разбираем бейзлайн и отвечает на вопросы участников по соревнованию!

Видео 12: Зум-встреча. Разбор бейзлайна

FeaturedBanner-e750da0a

FeaturedBanner-a28dd859

FeaturedBanner-3e9dad85

FeaturedBanner-819e3ebb

FeaturedBanner-63442d08

<p><strong>Что такое NLP in practice</strong></p>

<p>Бесплатный курс Лаборатории машинного обучения Альфа-Банка для всех, кто интересуется Data Science.</p>

<p>&nbsp;</p>

<p><strong>Чему научим</strong></p>

<p>Подробно разберём все технические этапы, с которыми сталкиваются дата-сайентисты в NLP на практике. Изучим:</p>

<ul>
<li>технические тематики семантического анализа &mdash; пререквизит для корректной постановки задачи</li>
<li>разметку данных &mdash; ресурс для обучения модели</li>
<li>стратегии выбора класса моделей необходимого и достаточного уровня сложности</li>
</ul>

<p>Поделимся опытом построения NLP-based продуктов Альфа-Банка: чат-бота, голосового бота, ассистента оператора. Расскажем, как находим инсайты с помощью категоризации оценок клиентов.</p>

<p>&nbsp;</p>

<p><strong>Что в финале</strong></p>

<p>После обучения устроим для всех участников Data Science-соревнование. Будет именно практическое соревнование по анализу данных, а не очередное ml-соревнование. В этом соревновании участники последнего этапа смогут улучшить свои решения за счет доотправки данных на доразметку, как это и происходит на практике.</p>

<p>Троих лучших ждут призы:</p>

<p>1 место &mdash; 450 тысяч рублей</p>

<p>2 место &mdash; 250 тысяч рублей</p>

<p>3 место &mdash; 100 тысяч рублей</p>

<p>&nbsp;</p>

<p>Учитесь и участвуйте в соревновании!</p>

<p>&nbsp;</p>

<p>&nbsp;</p>

Особенности применения NLP в практических задачах

#	Teams (134)	F1 score	Last	Entries
1	tg kaggle_fucker	0.8400396166	2y	56
2	Andrei Babkin	0.8295486897	2y	41
3	Ivan Yu Bondarenko	0.8222650429	2y	7
4	Andrey Kuznetsov	0.8205956088	2y	40
5	Andrey Khlopotnukh	0.8125152254	2y	44
6	Dmitry Kuzyurin	0.8088479425	2y	23
7	Mikhail Utrobin	0.8068487753	2y	19
8	Aleksandr Shatilov	0.8032549521	2y	11
9	Poly Team	0.8019200426	2y	43
10	Eskender Dzhemadinov	0.8009541691	2y	36
11	Vladimir Testov	0.8004514783	2y	6
12	One Piece	0.7985974717	2y	4
13	Ilia Kolzin	0.795013014	2y	28
14	BibaAndBoba	0.7927553952	2y	8
15	Nikolai Semiachkin	0.787784399	2y	10
16	Ilia Kuleshov	0.7873150389	2y	2
17	Vladimir Vorobev	0.7843331203	2y	17
18	Stanislav Chistyakov	0.7834957968	2y	35
19	tg ai_minds	0.7812465042	2y	45
20	Tcofaz	0.7736485817	2y	16
21	Valentin Gromov	0.7721798375	2y	10
22	Alesha	0.7711134905	2y	3
23	ZA DENGI DA	0.770698168	2y	8
24	killer-queen	0.7701042904	2y	14
25	Nikolai Vdovin	0.7658142582	2y	13
26	Kirill Bobylev	0.7652621654	2y	34
27	ML Rocks	0.7652142823	2y	3
28	Postironiia Dlia russkikh	0.764311413	2y	36
29	sfdc9d969c9c8	0.7632620056	2y	5
30	qklent	0.7630463396	2y	30
31	Maksim Maklygin	0.7573956585	2y	12
32	Aleksey Aleksey	0.7567495208	2y	22
33	hfd9721d83824	0.7563149288	2y	3
34	Aleksey Savotchenko	0.7560366303	2y	25
35	Rinat	0.7513595407	2y	14
36	Makvin	0.7512706352	2y	18
37	Tatyana Zh	0.7510207596	2y	6
38	Pavel Orlov	0.7502988789	2y	20
39	Evgenii Vigurskii	0.7501069841	2y	23
40	svq	0.7500640831	2y	12
41	aujdijbnawi	0.7451410318	2y	12
42	Dungeon Master	0.7395251565	2y	2
43	Mikhail Cherpakov	0.7393977361	2y	8
44	Arseniy Polyakov	0.7387309096	2y	33
45	Max Milkov	0.7379379759	2y	15
46	Artiom Akopian	0.736988702	2y	30
47	Aleksandr Gritckevich	0.7363335841	2y	28
48	сансеймайсамба	0.7363334665	2y	35
49	Denis Semenov	0.7315719656	2y	8
50	Dmitriy Kornev	0.7310911454	2y	27