<h3><strong>Правила участия</strong></h3>

<p>Нажимая кнопку &laquo;Участвовать&raquo; и/или &laquo;Отправить решение&raquo;, вы соглашаетесь <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/DataFusion2025/Rules_Data%20Fusion%20Contest_2025.pdf" rel="noopener noreferrer" target="_blank">с Правилами участия в соревновании Data Fusion Contest 2025</a>.</p>

<h3><strong>Постановка задачи</strong></h3>

<p>В этом соревновании вам предстоит разработать алгоритм для автоматической категоризации товаров по их названию и атрибутам, даже в условиях неполной разметки.</p>

<p>Система категорий устроена в виде иерархического дерева (до 5 уровней вложенности), а данные о товарах поступают с множества торговых площадок, что создает ряд сложностей:</p>

<ul>
	<li>Разметка товаров неполная и неидеальная.</li>
	<li>Атрибуты одних и тех же товаров могут отличаться на разных площадках или вовсе отсутствовать.</li>
	<li>По мере расширения каталога могут появляться новые площадки и категории, которых не было раньше.&nbsp;</li>
</ul>

<p>В этом соревновании мы предлагаем участникам попробовать свои силы в постановке максимально приближенной к реальной:&nbsp;</p>

<ul>
	<li>Задача осложняется тем, что в обучающей выборке категории размечены только для половины товаров, а в тестовой выборке встретятся категории, к которым нет размеченных примеров.</li>
	<li>При этом вам заранее предоставлен полный список возможных категорий &ndash; сможете ли вы учесть их все и точно отнести товары к нужным классам?</li>
	<li>LLM (большие языковые модели) выглядят многообещающе для подобных задач &ndash; но действительно ли они помогут? Это отличный шанс проверить различные подходы!</li>
</ul>

<p>Подробнее про данные и их структуру можно узнать на странице &ldquo;<a href="https://ods.ai/competitions/data-fusion2025-labelcraft/dataset" rel="noopener noreferrer" target="_blank"><strong>Данные</strong></a><strong>&rdquo;</strong>.&nbsp;</p>

<h3><strong>Формат решений</strong></h3>

<p>Это контейнерное соревнование:</p>

<ol>
	<li>Обучите модель на предоставленных данных.</li>
	<li>Подготовьте Docker-контейнер и код с весами моделей.</li>
	<li>Отправьте решение в виде архива.</li>
	<li>Ваше решение будет автономно запущено на закрытых тестовых данных.</li>
</ol>

<p>Решение получает на вход следующие именованные аргументы:</p>

<ul>
	<li><code>--input-path</code> <code>-i</code> путь к файлу с тестовыми товарами (например, <code>test.parquet</code>)</li>
	<li><code>--output-path</code> <code>-o</code> имя файла, в который вам нужно сохранить результат (например, <code>submit.csv</code>)</li>
</ul>

<p>Формат выходного файла &mdash; <code>.csv</code> с двумя столбцами:&nbsp;</p>

<ul>
	<li>Столбец <code>hash_id</code> должен содержать предоставленные захэшированные идентификаторы товаров.</li>
	<li>Столбец <code>cat_id</code> должен быть идентификатором категории в соответствии с предоставленным словарем категорий.</li>
</ul>

<p>В архиве должны быть все необходимые для работы модели файлы. Как минимум, в архиве должен быть файл <code>metadata.json</code> с указанием используемого докер-образа (рекомендуем <strong>`</strong><code><strong>odsai/df25-baseline:1.0`</strong></code>) и строки для запуска вашей модели.</p>

<pre>
<code class="language-javascript">{
   "image": "odsai/df25-baseline:1.0",
   "entry_point": "python -u run.py"
}</code></pre>

<p>При желании вы можете использовать свой образ, выложив его на <a href="https://hub.docker.com/" rel="noopener noreferrer" target="_blank">https://hub.docker.com</a>. <a href="https://youtu.be/KwVfwnlzLpE" rel="noopener noreferrer" target="_blank">Вебинар о том, как собрать докер</a>.&nbsp;</p>

<h4><strong>ВАЖНО</strong>!&nbsp;</h4>

<ul>
	<li>Обратите внимание, что в тестовых данных будут другие товары.&nbsp;</li>
	<li>Если в файле отсутствует какой-то из предоставленных тестовых товаров, решение будет отвергнуто (оценочный скрипт выдаст ошибку).</li>
	<li><strong>Более того</strong>, в тестовых данных присутствуют категории товаров из словаря, для которых отсутствует разметка в обучающих данных. Получение разметки недостающих категорий это неотъемлемая часть задачи соревнования.&nbsp;</li>
</ul>

<h3><strong>Проверка решений</strong></h3>

<p>Решения проверяются автоматически:</p>

<ul>
	<li>Запуск решений происходит&nbsp;в изолированной среде без доступа в интернет.&nbsp;
	<ul>
		<li>Все библиотеки и их версии должны быть уже загружены в вашем Docker образе.</li>
		<li>Запуск происходит на полностью закрытых тестовых данных, которые не доступны и не передаются участникам.</li>
	</ul>
	</li>
	<li>Решения запускаются последовательно на 3 закрытых наборах тестовых данных:
	<ol>
		<li>Check, отладочные 10 примеров, которые не идут в рейтинг.</li>
		<li>Public test, для результатов на Public лидерорде в течение соревнования.&nbsp;</li>
		<li>Private test, для итоговых результатов Private лидерборда.</li>
	</ol>
	</li>
</ul>

<h4><strong>ВАЖНО</strong>!&nbsp;</h4>

<ul>
	<li>Если решение упало на любом тестовом наборе &ndash; оно не оценивается.</li>
	<li>Победители соревнования&nbsp;определяются по результатам приватной части лидерборда.&nbsp;</li>
</ul>

<p>Метрика соревнования &mdash; <strong>HDA</strong> (Hierarchical Discounted Accuracy):</p>

<p>$$HDA = \frac{1}{N} \sum_{i=1}^N D(y_{i}, \hat{y}_{i} ) $$</p>

<p>$$ D(y_{i}, \hat{y}_{i} ) = \begin{cases}0 &amp; \text{if $LCA (y_{i}, \hat{y}_{i}) &nbsp;= \emptyset$}\\ &nbsp;\text{$ e^{ - LevelDiff (y_{i}, \hat{y}_{i} ) } $} &amp; \text{$else$}\end{cases}$$</p>

<p>$$ LevelDiff (y_{i}, \hat{y}_{i} ) = max(0, Level(y_{i}) - Level( LCA (y_{i}, \hat{y}_{i} ) ) )$$</p>

<p>$$\text{Где:}$$</p>

<p>$$N \text{ &mdash; число товаров},$$</p>

<p>$$y_{i} \text{ &mdash; истинные значения категории товара i},$$</p>

<p>$$\hat{y}_{i} \text{ &mdash; предсказанные значения категории товара i},$$</p>

<p>$$ Level(y_{i} ) \text{ &mdash; уровень класса категории в дереве категорий},$$</p>

<p>$$ LCA(y_{i}, y_{j} ) \text{ &mdash; наименьший общий предок между двумя категориями}.$$</p>

<p>Метрика учитывает структуру категорий:</p>

<ul>
	<li>Если решение ошиблось только в последнем уровне категоризации товара, это считает &ldquo;полу&rdquo;-ошибкой. Значит вместо 1 балла ваше решение получит 1/exp(1) &asymp; 0.37 балла.&nbsp;</li>
	<li>Оценка экспоненциально снижается в зависимости от разности уровня наиболее глубокой корректно предсказанной категории и уровня корректной категории. Для ошибки в 2 уровня вы будете получать уже 1/exp(2) &asymp; 0.13 балла.</li>
	<li>Если товар имеет разметку до 4 уровня, а ваш алгоритм предсказывает 5-й, оценка идет по 4-му уровню.</li>
</ul>

<p>Победители и итоговые результаты определяются по результатам на Private лидерборде.&nbsp;<br />
Для Private лидерборда можно выбрать до 2 финальных решений.</p>

<h3><strong>Доступные ресурсы для решений</strong></h3>

<ul>
	<li>8 ядер CPU</li>
	<li>96Gb RAM</li>
	<li>Видеокарта NVidia Tesla V100 (32Gb)</li>
</ul>

<h3><strong>Ограничения для решений</strong></h3>

<ol>
	<li>Архив с решением
	<ol>
		<li>5Gb для архива с решением</li>
		<li>60 минут на работу решения: 30 минут на public часть и 30 минут на private</li>
	</ol>
	</li>
	<li>Docker-образ, используемый в решении
	<ol>
		<li>Образ должен быть опубликован и публично доступен на Dockerhub</li>
		<li>20Gb ограничение на размер образа</li>
	</ol>
	</li>
</ol>

<p>&nbsp;</p>

<p>&nbsp;</p>

<h3><strong>Информация&nbsp;для участников</strong></h3>

<ul>
	<li>В соревновании можно принимать участие из любой точки мира. Участники могут объединяться в команды до 4-х человек. Участвовать можно в любом количестве из предложенных задач и номинаций. Победители соревнования смогут получить денежные призы только на расчетные счета банков, зарегистрированных на территории Российской Федерации.&nbsp; Просим вас позаботиться об открытии счета в РФ заранее.</li>
	<li>Ответы на вопросы по всему Data Fusion Contest 2025 доступны&nbsp;на&nbsp;<a href="https://ods.ai/tracks/data-fusion-2025-competitions/faq" rel="noopener noreferrer" target="_blank">FAQ странице трека</a>.</li>
</ul>

<h3><strong>Призовой фонд задачи 1,&nbsp;&ldquo;Label Craft&rdquo;</strong></h3>

<p>1 место: 1 000 000 рублей<br />
2 место: 600 000 рублей<br />
3 место: 350 000 рублей</p>

<p>&nbsp;</p>

<p>Спецноминация 1 &mdash; 50 000 рублей<br />
Спецноминация 2 &mdash; мерч</p>

Участникам необходимо предсказать категорию товаров на основе полученных данных о названиях товаров и их описаний.

Public

Данные

Rules

<p>Нажимая &quot;Отправить&quot; я соглашаюсь с условиями <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/DataFusion2025/Rules_Data%20Fusion%20Contest_2025.pdf">Правил проведения онлайн-соревнования Data Fusion Contest 2025</a></p>

Privacy Policy and User agreement

<p>Даю <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/DataFusion2025/Data_Fusion_2025_soglasie_pdn.pdf">согласие</a> Оператору&nbsp;на обработку ПДн&nbsp; (*)</p>

email_promo

<p>Даю согласие <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/DataFusion2025/Data_Fusion_2025_T1_soglasie_promo.pdf">Организатору</a>&nbsp;соревнования на получение информации рекламного характера</p>

<p><a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/DataFusion2025/Data_Fusion_2025_T1_soglasie_hr.pdf">Согласен</a> на сотрудничество по содействию мне в трудоустройстве</p>

<p>Благодарим за интерес к серии соревнований&nbsp;Data Fusion Contest 2025.</p>

<p>Заполните, пожалуйста, форму ниже.</p>

<p>Согласия, отмеченные&nbsp; (*) - обязательные.</p>

first_name

First name

last_name

Last name

country

Country (lat)

city

City (lat)

email

Email

phone_optional

Phone (Optional)

Occupation

Experience

Experience in DC

study_place2

Company/study place name

referral

How did you know about the competition?

Registration application for Data Fusion 2025

Data Fusion Contest 2025 - Задача 1 "Label Craft"

Predictions

<h2><strong>Данные</strong></h2><p>Для решения задачи “Labelcraft” предлагается несколько групп данных и материалов:</p><ol><li>Словарь с деревом категорий (category_tree.csv)</li><li>Тренировочные данные<ol><li>Размеченные товары (labeled_train.parquet)</li><li>Неразмеченные товары (unlabeled_train.parquet)</li></ol></li><li>Базовые решения&nbsp;</li></ol><h3><strong>Словарь с деревом категорий (category_tree.csv)</strong></h3><p>Заранее известный перечень категорий и подкатегорий, которые могут встретится в данных:</p><ul><li><code><strong>cat_id</strong></code> – идентификатор категории (например 10229)</li><li><code><strong>parent_id</strong></code> — идентификатор родительской категории (например 1142; пропуск если это корневая категория)</li><li><code><strong>cat_name</strong></code> – краткое название категории (например “Аккумуляторы для фото/видеотехники”).</li></ul>

108.2KB, словарь с деревом категорий товаров

category_tree.csv

<h3><strong>Размеченные данные о товарах (labeled_train.parquet)</strong></h3><p>Основная информация о товарах, включая их размеченную категорию:</p><ul><li><code><strong>hash_id</strong></code> – Идентификатор товара</li><li><code><strong>source_name</strong></code> — Название товара</li><li><code><strong>attributes</strong></code> – Атрибуты товара (строка с json)</li><li><code><strong>cat_id</strong></code> – Целевая категория товара</li></ul>

226.2MB, размеченные тренировочные данные товаров

labeled_train.parquet

<h3><strong>Неразмеченные данные о товарах (unlabeled_train.parquet)</strong></h3><p>Аналогичный файл с данными о товарах, в котором отсутствует разметка</p><ul><li><code><strong>hash_id</strong></code> – Идентификатор товара</li><li><code><strong>source_name</strong></code> — Название товара</li><li><code><strong>attributes</strong></code> – Атрибуты товара (строка с json)</li></ul><p>Именно в таком формате решения будут получать информацию во время тестирования платформой соревнования.</p>

218.5MB, неразмеченные тренировочные данные товаров

unlabeled_train.parquet

<h3><strong>Базовые решения</strong></h3><p>Пример корректного решения с корректным образом, а также ноутбук для воспроизведения решения.</p>

Данные

Словарь с деревом категорий (category_tree.csv)

category_tree.csv

Размеченные данные о товарах (labeled_train.parquet)

labeled_train.parquet

Неразмеченные данные о товарах (unlabeled_train.parquet)

unlabeled_train.parquet

Базовые решения

sample_submit.zip

baseline_example.ipynb