<h2>Задача 1. Matching &mdash; основная задача соревнования</h2>

Необходимо решить Matching задачу соотнесения клиентов в формате контейнеров с кодом. А именно, используя данные транзакций и кликстримов, сперва построить предрассчитанные вектора. Затем для каждого клиента ВТБ требуется сопоставить полученные вектора и отранжировать клиентов &ldquo;Ростелекома&rdquo; по наибольшей вероятности их совпадения.&nbsp;

&nbsp;

<h3>Правила участия</h3>

Нажимая кнопку &laquo;Участвовать&raquo; и/или &laquo;Отправить решение&raquo;, вы соглашаетесь с <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/DataFusion2022/Rules_Data_Fusion_2022.pdf" rel="noopener noreferrer" target="_blank">Правилами участия в соревновании Data Fusion Contest 2022</a>.

&nbsp;

<h3>Данные</h3>

Для решения Matching задачи во вкладке данные участникам&nbsp;доступны несколько наборов данных:&nbsp;

<ol>
<li>Общие данные для всех задач в табличном <code>.csv</code> формате:&nbsp;<code>transactions.zip</code>,&nbsp;<code>clicstream.zip</code> и целевая переменная <code>train_matching.csv</code></li>
<li>Общие сопроводительные данные для всех задач в табличном <code>.csv</code> формате:&nbsp;<code>mcc_codes.csv</code>,&nbsp;<code>click_categories.csv</code> и&nbsp;<code>currency_rk.csv</code></li>
<li>Бейзлайны и примеры решений для контейнерной Matching задачи: случайное решение&nbsp;<code>sample_submission.zip</code> и <code>baseline_catboost.zip</code> с примером решения на библиотеке catboost с использованием GPU</li>
</ol>

Ссылки на скачивание данных доступны во вкладке Данные для присоединившихся к соревнованию участников.

<h3>Проверка решений</h3>

<ul>
<li>Решения проверяются автоматически. Запуск происходит&nbsp;в изолированной среде без доступа в интернет на полностью закрытых тестовых данных, которые не передаются участникам.</li>
<li>Тестовое множество не пересекается с доступными данными&nbsp;&mdash; оно состоит из новых данных клиентов ВТБ и &ldquo;Ростелекома&rdquo;.&nbsp;Соотношение public/private в соревновании составляет 50/50. Победители соревнования определяются по результатам на private лидерборде.</li>
<li>Метрика соревнования&nbsp;&mdash; <code>R1</code>. Аналогично метрике F1, это среднее гармоническое между <code>Precision@100</code> и <code>MRR@100</code>. В лидерборде также отражаются составляющие для <code>R1</code> метрики, но именно <code>R1</code> является основной метрикой соревнования.</li>
<li>Как в тренировочных, так и в тестовых данных, возможны ситуации, когда для клиента ВТБ отсутствует пара в данных &ldquo;Ростелекома&rdquo;. В таком случае, истиной парой для клиента считается <code>rtk_id=0</code>. Этот специальный случай отсутствия пары также необходимо учитывать в разработке решений для Matching задачи.</li>
</ul>

<h3>Доступные ресурсы для решений</h3>

<ul>
<li>8 ядер CPU</li>
<li>96Gb RAM</li>
<li>Видеокарта NVidia Tesla V100</li>
</ul>

Для отладки решений можно также решать упрощенную <a href="https://ods.ai/competitions/data-fusion2022-puzzle" rel="noopener noreferrer" target="_blank">задачу Puzzle</a>, которая реализована в классическом табличном формате проверки.&nbsp;

<h3>Ограничения для решений</h3>

<ul>
<li>5Gb для архива с решением</li>
<li>60 минут на работу решения</li>
<li>5 решений в день на команду</li>
</ul>

<h3>Информация&nbsp;для участников</h3>

<ul>
<li>В соревновании могут принимать участие граждане со всего мира. Участники могут объединяться в команды до 4-ёх человек. Участвовать можно в любом количестве из предложенных задач и номинаций.</li>
<li>Ответы на часто задаваемые вопросы по задаче Matching можно найти на странице FAQ. Ответы на вопросы по всему Data Fusion Contest 2022 доступны&nbsp;на <a href="https://ods.ai/tracks/data-fusion-2022-competitions/faq" rel="noopener noreferrer" target="_blank">FAQ странице трека</a>.</li>
<li>Официальный канал общения и обсуждения между участниками всех задач &mdash; канал <a href="https://opendatascience.slack.com/archives/C031KNXKPG8" rel="noopener noreferrer" target="_blank">#proj_data_fusion_22</a> в ODS #slack. Важные анонсы,&nbsp;объявления и ответы на вопросы будут сперва появляться в канале ODS, после чего добавляться в FAQ и новости соревнования на ods.ai.</li>
</ul>

<h3>Дополнительные активности</h3>

<ul>
<li>Участвуйте в специальных номинациях, каждая из которых имеет свой призовой фонд! Делитесь вашими решениями с другими участниками соревнования в канале <a href="https://opendatascience.slack.com/archives/C031KNXKPG8" rel="noopener noreferrer" target="_blank">#proj_data_fusion_22</a> в рамках номинации Companion, либо отправляйте ваши нестандартные решения в номинацию Insight.</li>
<li>Следите за новостями Data Fusion Contest 2022 &mdash; вас ждут митапы и воркшопы с разборами решений задач, а также регулярные розыгрыши мерча ODS!</li>
<li>Уникальный механизм добавления предрасчитанных фичей! Вы можете создать публичное решение с генерацией фичей, которые мы добавим отдельной папкой с фичами, доступными внутри контейнера. Голосования за добавление фичей будут проходить в канале <a href="https://opendatascience.slack.com/archives/C031KNXKPG8" rel="noopener noreferrer" target="_blank">#proj_data_fusion_22</a>, а добавленные фичи будут анонсироваться на митапах.</li>
</ul>

<h3>Призовой фонд задачи 1, Matching</h3>

1 место: 500 000 рублей 
2 место: 300 000 рублей 
3 место: 200 000 рублей 
4 и 5 место: 100 000 рублей 
с 6 по 10 место: 50 000 рублей

&nbsp;

<h3>FAQ</h3>

Q: Можете сказать, откуда собираются данные в clickstream.csv?

A: В файле clickstream.csv трафик интернет-провайдера со всех сайтов, категоризованный по тематикам (интересам). Например, просмотр видео на Ютубе про мебель категоризуется в тематику &quot;мебель&quot;. Аналогично с остальными сайтами: категоризуется не сам домен, а тематика конкретной страницы.

&nbsp;

&nbsp;

Q: В задаче Puzzle&nbsp;можно использовать модель или данные с главной задачи? А наоборот?

A: Да, вы можете использовать и модели и данные из разных задач на свое усмотрение.

&nbsp;

&nbsp;

Q: Я отправил сабмишн, получил статус &ldquo;Failed&rdquo;, но нет ссылки на текст ошибки. Что делать?

A: Скорее всего, в ваших предсказаниях представлены не все id, которые встречаются в списке id из файла transactions.csv в тесте. Это могло произойти, например, из-за фильтрации данных.

&nbsp;

&nbsp;

Q: Можно ли учитывать ограничение решение по времени (60 минут) только в части применения модели и не учитывать трансформацию данных?

A: Нет. Условия задачи подразумевают получить матч за 60 минут для входных потоков транзакций и кликстрима.

&nbsp;

&nbsp;

Q: Есть ли возможность посмотреть transactions.csv и clickstream.csv представленных в тесте? Эти ID присутствуют в данных для обучения?

A: Нет, эти данные недоступны участникам.

&nbsp;

&nbsp;

Q: Сколько данных в тесте?

A: В public и private содержится приблизительно по 3000 уникальных id. При этом public и private считаются раздельно, и следовательно ограничение по ресурсам и времени распространяется на раздельный подсчет public и private.

&nbsp;

Решите Matching задачу: по данным транзакций и кликстрима, требуется сперва построить обезличенные вектора. Затем для каждого клиента ВТБ нужно сопоставить вектора и отранжировать клиентов "Ростелекома" по вероятности их совпадения.

Public

Private

https://storage.yandexcloud.net/ds-ods/files/media/meta_tag/file/01a619df40f3/smm.jpg

description

Данные

Baselines

User Agreement Bank

<a data-remove-tab-index="true" data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5_%D0%BD%D0%B0_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D1%83_%D0%9F%D0%94%D0%BD_%D0%9F%D0%90%D0%9E_%D0%92%D0%A2%D0%91_Data_Fusion_%D0%9F%D0%B8_%D0%90%D1%80_%D0%9F%D0%B0%D1%80%D1%82%D0%BD%D0%B5%D1%80_1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5_%D0%BD%D0%B0_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D1%83_%D0%9F%D0%94%D0%BD_%D0%9F%D0%90%D0%9E_%D0%92%D0%A2%D0%91_Data_Fusion_%D0%9F%D0%B8_%D0%90%D1%80_%D0%9F%D0%B0%D1%80%D1%82%D0%BD%D0%B5%D1%80_1.pdf" rel="noopener noreferrer" tabindex="-1" target="_blank">даю согласие</a>&nbsp;Банку ВТБ (ПАО) на обработку моих персональных данных, ознакомлен с&nbsp;<a data-remove-tab-index="true" data-sk="tooltip_parent" data-stringify-link="https://www.vtb.ru/-/media/Files/aktsioneram-i-investoram/raskrytie-informatsii/ustav-i-vnutrennie-dokumenty/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf" delay="150" href="https://www.vtb.ru/-/media/Files/aktsioneram-i-investoram/raskrytie-informatsii/ustav-i-vnutrennie-dokumenty/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf" rel="noopener noreferrer" tabindex="-1" target="_blank">Положением об организации обработки персональных данных&nbsp;Банком ВТБ (ПАО)</a>&nbsp;

Consent Data Processing (Data Souls)

<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" rel="noopener noreferrer" target="_blank">даю согласие</a>&nbsp;DataSouls на обработку моих персональных данных

Privacy Policy and User agreement (Data Souls)

ознакомлен и принимаю&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" rel="noopener noreferrer" target="_blank">Пользовательское соглашение</a>&nbsp;и&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" rel="noopener noreferrer" target="_blank">Политику конфиденциальности</a>&nbsp;DataSouls

first_name

First name

last_name

Last name

country

Country (lat)

city

City (lat)

email

Email

phone_optional

Phone (Optional)

Occupation

Experience

Experience in DC

study_place2

Company/study place name

Registration application for Data Fusion 2022

Соревнование Data Fusion Contest 2022. Задача Matching

Container

Sberbank AI Lab

Anton Klenitskiy

Андрей Кузнецов

Dmitry Kutsenko

Roman Barilov

Vladimir Testov

AlphaBetaZeroGo

Deja Vu

Timur Redzhepov

Anatoly Ilyenkov

Vlad Samarov

Ivan Alexandrov

Fit_Predict

The AI Gang vSOLO

peter

Alexey Alexeev

Victor Krasilnikov

Uckfo

Pavel

Mikhail Kostin

baseline четыре константы

Yuriy Kim

Timofey Zheleznyakov

Alexander Anokhin

Wanderer

just4fun

Vlad Balanda

dim khor

LTFM

Dmitry Tyan

Andrey Nikitin

Anton Karasev

Islam Tlupov

CONS

Dmitry Fedotov

Andrei Tarasov

Andrey Nikishaev

Crinjucci

Павел Киселев

Alexander Samokhin

Dima Kovalenko

Dmitry Kamsha

Ivan Mochalov

Kirill Vlasov

Erik

Nikolai Vdovin

Alexander Kanonirov

Nikita Nikonov

Среднее гармоничное между
MRR@100 и Precision@100
метриками

R1 (Harm. Mean)

Mean reciprocal rank, метрика 
ранжирования для первых 
100 кандидатов в пары

MRR @100

Precision, метрика точности 
для первых 100 кандидатов

Precision @100


1	Sberbank AI Lab	0.3052122376	0.2070366005	0.5804661487	23m	19
2	Anton Klenitskiy	0.3010897159	0.2076863819	0.5471698113	23m	52
3	Андрей Кузнецов	0.2963679352	0.2046329672	0.5371809101	23m	93
4	Dmitry Kutsenko	0.2835636865	0.1994165967	0.4905660377	23m	43
5	Roman Barilov	0.2808985766	0.1979448289	0.483536811	23m	30
6	Vladimir Testov	0.2789823203	0.1958047591	0.4850166482	23m	16
7	AlphaBetaZeroGo	0.2785912885	0.1963974158	0.4790972993	23m	57
8	Deja Vu	0.277963853	0.1955896243	0.4802071772	23m	58
9	Timur Redzhepov	0.2772332013	0.1971490358	0.4668886422	23m	53
10	Anatoly Ilyenkov	0.2758386415	0.1937329694	0.47872734	23m	52
11	Vlad Samarov	0.2735041125	0.1938465564	0.4642989271	23m	63
12	Ivan Alexandrov	0.2723439017	0.192746789	0.4639289678	23m	142
13	Fit_Predict	0.271585616	0.1926288388	0.4602293748	23m	263
14	The AI Gang vSOLO	0.2709996171	0.1932907387	0.453200148	23m	79
15	abc	0.2705181276	0.1924683698	0.4550499445	23m	22
16	peter	0.2665370897	0.190096266	0.4458009619	23m	18
17	Alexey Alexeev	0.2645673747	0.1899355429	0.4358120607	23m	15
18	Victor Krasilnikov	0.2619187803	0.1886884812	0.4280429153	2y	6
19	Uckfo	0.2619187803	0.1886884812	0.4280429153	23m	2
20	Pavel	0.2619187803	0.1886884812	0.4280429153	23m	1
21	Mikhail Kostin	0.2619187803	0.1886884812	0.4280429153	23m	1
22	baseline четыре константы	0.2608475817	0.1875786033	0.4280429153	23m	16
23	Yuriy Kim	0.2594164347	0.1862422119	0.4273029967	23m	4
24	Timofey Zheleznyakov	0.2588540632	0.1873167088	0.4187939327	23m	26
25	Alexander Anokhin	0.2559243719	0.1849159275	0.4154642989	23m	9
26	Wanderer	0.2550475564	0.1857216425	0.4069552349	23m	80
27	just4fun	0.2532059185	0.1875554007	0.3895671476	2y	25
28	Vlad Balanda	0.2528324188	0.1843753862	0.402145764	23m	125
29	dim khor	0.2516118922	0.1822489104	0.4062153163	23m	16
30	LTFM	0.2496640017	0.1861809784	0.3788383278	2y	36
31	Dmitry Tyan	0.2462791348	0.1826132964	0.3780984092	2y	17
32	Andrey Nikitin	0.2444201246	0.1804082476	0.3788383278	23m	20
33	Anton Karasev	0.2438216382	0.1724758501	0.4158342582	23m	5
34	Islam Tlupov	0.2430208338	0.180412006	0.3721790603	23m	18
35	CONS	0.241257778	0.1736415799	0.3951165372	2y	16
36	Dmitry Fedotov	0.240274147	0.1833382745	0.3485016648	2y	16
37	Andrei Tarasov	0.2378898714	0.1796951555	0.3518312986	23m	4
38	Andrey Nikishaev	0.2361696777	0.1771781677	0.3540510544	2y	30
39	Crinjucci	0.2358183547	0.1771542692	0.3525712172	23m	15
40	Павел Киселев	0.2357074751	0.1769360242	0.3529411765	23m	2
41	Alexander Samokhin	0.2335937337	0.159958613	0.4328523862	23m	2
42	Dima Kovalenko	0.2317976391	0.1745809756	0.3448020718	2y	3
43	Dmitry Kamsha	0.2314538184	0.1750535217	0.341472438	2y	29
44	Ivan Mochalov	0.2313363567	0.1752118455	0.3403625601	23m	1
OOC	Kirill Vlasov	0.2303261563	0.1750391108	0.3366629671	2y	30
45	Erik	0.2299100745	0.1754677385	0.3333333333	23m	1
46	lh	0.2295043513	0.1746911795	0.3344432112	23m	9
47	Nikolai Vdovin	0.2294011822	0.1748755927	0.3333333333	2y	3
48	Alexander Kanonirov	0.2288935297	0.174489227	0.3325934147	2y	1
49	Nikita Nikonov	0.2262226259	0.1738614654	0.3237143914	2y	2