<h2>Задача 1. Matching &mdash; основная задача соревнования</h2>

Необходимо решить Matching задачу соотнесения клиентов в формате контейнеров с кодом. А именно, используя данные транзакций и кликстримов, сперва построить предрассчитанные вектора. Затем для каждого клиента ВТБ требуется сопоставить полученные вектора и отранжировать клиентов &ldquo;Ростелекома&rdquo; по наибольшей вероятности их совпадения.&nbsp;

&nbsp;

<h3>Правила участия</h3>

Нажимая кнопку &laquo;Участвовать&raquo; и/или &laquo;Отправить решение&raquo;, вы соглашаетесь с <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/DataFusion2022/Rules_Data_Fusion_2022.pdf" rel="noopener noreferrer" target="_blank">Правилами участия в соревновании Data Fusion Contest 2022</a>.

&nbsp;

<h3>Данные</h3>

Для решения Matching задачи во вкладке данные участникам&nbsp;доступны несколько наборов данных:&nbsp;

<ol>
<li>Общие данные для всех задач в табличном <code>.csv</code> формате:&nbsp;<code>transactions.zip</code>,&nbsp;<code>clicstream.zip</code> и целевая переменная <code>train_matching.csv</code></li>
<li>Общие сопроводительные данные для всех задач в табличном <code>.csv</code> формате:&nbsp;<code>mcc_codes.csv</code>,&nbsp;<code>click_categories.csv</code> и&nbsp;<code>currency_rk.csv</code></li>
<li>Бейзлайны и примеры решений для контейнерной Matching задачи: случайное решение&nbsp;<code>sample_submission.zip</code> и <code>baseline_catboost.zip</code> с примером решения на библиотеке catboost с использованием GPU</li>
</ol>

Ссылки на скачивание данных доступны во вкладке Данные для присоединившихся к соревнованию участников.

<h3>Проверка решений</h3>

<ul>
<li>Решения проверяются автоматически. Запуск происходит&nbsp;в изолированной среде без доступа в интернет на полностью закрытых тестовых данных, которые не передаются участникам.</li>
<li>Тестовое множество не пересекается с доступными данными&nbsp;&mdash; оно состоит из новых данных клиентов ВТБ и &ldquo;Ростелекома&rdquo;.&nbsp;Соотношение public/private в соревновании составляет 50/50. Победители соревнования определяются по результатам на private лидерборде.</li>
<li>Метрика соревнования&nbsp;&mdash; <code>R1</code>. Аналогично метрике F1, это среднее гармоническое между <code>Precision@100</code> и <code>MRR@100</code>. В лидерборде также отражаются составляющие для <code>R1</code> метрики, но именно <code>R1</code> является основной метрикой соревнования.</li>
<li>Как в тренировочных, так и в тестовых данных, возможны ситуации, когда для клиента ВТБ отсутствует пара в данных &ldquo;Ростелекома&rdquo;. В таком случае, истиной парой для клиента считается <code>rtk_id=0</code>. Этот специальный случай отсутствия пары также необходимо учитывать в разработке решений для Matching задачи.</li>
</ul>

<h3>Доступные ресурсы для решений</h3>

<ul>
<li>8 ядер CPU</li>
<li>96Gb RAM</li>
<li>Видеокарта NVidia Tesla V100</li>
</ul>

Для отладки решений можно также решать упрощенную <a href="https://ods.ai/competitions/data-fusion2022-puzzle" rel="noopener noreferrer" target="_blank">задачу Puzzle</a>, которая реализована в классическом табличном формате проверки.&nbsp;

<h3>Ограничения для решений</h3>

<ul>
<li>5Gb для архива с решением</li>
<li>60 минут на работу решения</li>
<li>5 решений в день на команду</li>
</ul>

<h3>Информация&nbsp;для участников</h3>

<ul>
<li>В соревновании могут принимать участие граждане со всего мира. Участники могут объединяться в команды до 4-ёх человек. Участвовать можно в любом количестве из предложенных задач и номинаций.</li>
<li>Ответы на часто задаваемые вопросы по задаче Matching можно найти на странице FAQ. Ответы на вопросы по всему Data Fusion Contest 2022 доступны&nbsp;на <a href="https://ods.ai/tracks/data-fusion-2022-competitions/faq" rel="noopener noreferrer" target="_blank">FAQ странице трека</a>.</li>
<li>Официальный канал общения и обсуждения между участниками всех задач &mdash; канал <a href="https://opendatascience.slack.com/archives/C031KNXKPG8" rel="noopener noreferrer" target="_blank">#proj_data_fusion_22</a> в ODS #slack. Важные анонсы,&nbsp;объявления и ответы на вопросы будут сперва появляться в канале ODS, после чего добавляться в FAQ и новости соревнования на ods.ai.</li>
</ul>

<h3>Дополнительные активности</h3>

<ul>
<li>Участвуйте в специальных номинациях, каждая из которых имеет свой призовой фонд! Делитесь вашими решениями с другими участниками соревнования в канале <a href="https://opendatascience.slack.com/archives/C031KNXKPG8" rel="noopener noreferrer" target="_blank">#proj_data_fusion_22</a> в рамках номинации Companion, либо отправляйте ваши нестандартные решения в номинацию Insight.</li>
<li>Следите за новостями Data Fusion Contest 2022 &mdash; вас ждут митапы и воркшопы с разборами решений задач, а также регулярные розыгрыши мерча ODS!</li>
<li>Уникальный механизм добавления предрасчитанных фичей! Вы можете создать публичное решение с генерацией фичей, которые мы добавим отдельной папкой с фичами, доступными внутри контейнера. Голосования за добавление фичей будут проходить в канале <a href="https://opendatascience.slack.com/archives/C031KNXKPG8" rel="noopener noreferrer" target="_blank">#proj_data_fusion_22</a>, а добавленные фичи будут анонсироваться на митапах.</li>
</ul>

<h3>Призовой фонд задачи 1, Matching</h3>

1 место: 500 000 рублей 
2 место: 300 000 рублей 
3 место: 200 000 рублей 
4 и 5 место: 100 000 рублей 
с 6 по 10 место: 50 000 рублей

&nbsp;

<h3>FAQ</h3>

Q: Можете сказать, откуда собираются данные в clickstream.csv?

A: В файле clickstream.csv трафик интернет-провайдера со всех сайтов, категоризованный по тематикам (интересам). Например, просмотр видео на Ютубе про мебель категоризуется в тематику &quot;мебель&quot;. Аналогично с остальными сайтами: категоризуется не сам домен, а тематика конкретной страницы.

&nbsp;

&nbsp;

Q: В задаче Puzzle&nbsp;можно использовать модель или данные с главной задачи? А наоборот?

A: Да, вы можете использовать и модели и данные из разных задач на свое усмотрение.

&nbsp;

&nbsp;

Q: Я отправил сабмишн, получил статус &ldquo;Failed&rdquo;, но нет ссылки на текст ошибки. Что делать?

A: Скорее всего, в ваших предсказаниях представлены не все id, которые встречаются в списке id из файла transactions.csv в тесте. Это могло произойти, например, из-за фильтрации данных.

&nbsp;

&nbsp;

Q: Можно ли учитывать ограничение решение по времени (60 минут) только в части применения модели и не учитывать трансформацию данных?

A: Нет. Условия задачи подразумевают получить матч за 60 минут для входных потоков транзакций и кликстрима.

&nbsp;

&nbsp;

Q: Есть ли возможность посмотреть transactions.csv и clickstream.csv представленных в тесте? Эти ID присутствуют в данных для обучения?

A: Нет, эти данные недоступны участникам.

&nbsp;

&nbsp;

Q: Сколько данных в тесте?

A: В public и private содержится приблизительно по 3000 уникальных id. При этом public и private считаются раздельно, и следовательно ограничение по ресурсам и времени распространяется на раздельный подсчет public и private.

&nbsp;

Решите Matching задачу: по данным транзакций и кликстрима, требуется сперва построить обезличенные вектора. Затем для каждого клиента ВТБ нужно сопоставить вектора и отранжировать клиентов "Ростелекома" по вероятности их совпадения.

Public

Private

https://storage.yandexcloud.net/ds-ods/files/media/meta_tag/file/01a619df40f3/smm.jpg

description

Данные

Baselines

User Agreement Bank

<a data-remove-tab-index="true" data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5_%D0%BD%D0%B0_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D1%83_%D0%9F%D0%94%D0%BD_%D0%9F%D0%90%D0%9E_%D0%92%D0%A2%D0%91_Data_Fusion_%D0%9F%D0%B8_%D0%90%D1%80_%D0%9F%D0%B0%D1%80%D1%82%D0%BD%D0%B5%D1%80_1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5_%D0%BD%D0%B0_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D1%83_%D0%9F%D0%94%D0%BD_%D0%9F%D0%90%D0%9E_%D0%92%D0%A2%D0%91_Data_Fusion_%D0%9F%D0%B8_%D0%90%D1%80_%D0%9F%D0%B0%D1%80%D1%82%D0%BD%D0%B5%D1%80_1.pdf" rel="noopener noreferrer" tabindex="-1" target="_blank">даю согласие</a>&nbsp;Банку ВТБ (ПАО) на обработку моих персональных данных, ознакомлен с&nbsp;<a data-remove-tab-index="true" data-sk="tooltip_parent" data-stringify-link="https://www.vtb.ru/-/media/Files/aktsioneram-i-investoram/raskrytie-informatsii/ustav-i-vnutrennie-dokumenty/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf" delay="150" href="https://www.vtb.ru/-/media/Files/aktsioneram-i-investoram/raskrytie-informatsii/ustav-i-vnutrennie-dokumenty/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf" rel="noopener noreferrer" tabindex="-1" target="_blank">Положением об организации обработки персональных данных&nbsp;Банком ВТБ (ПАО)</a>&nbsp;

Consent Data Processing (Data Souls)

<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" rel="noopener noreferrer" target="_blank">даю согласие</a>&nbsp;DataSouls на обработку моих персональных данных

Privacy Policy and User agreement (Data Souls)

ознакомлен и принимаю&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" rel="noopener noreferrer" target="_blank">Пользовательское соглашение</a>&nbsp;и&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" rel="noopener noreferrer" target="_blank">Политику конфиденциальности</a>&nbsp;DataSouls

first_name

First name

last_name

Last name

country

Country (lat)

city

City (lat)

email

Email

phone_optional

Phone (Optional)

Occupation

Experience

Experience in DC

study_place2

Company/study place name

Registration application for Data Fusion 2022

Соревнование Data Fusion Contest 2022. Задача Matching

Container

Sberbank AI Lab

Anton Klenitskiy

Андрей Кузнецов

Dmitry Kutsenko

Roman Barilov

Vladimir Testov

AlphaBetaZeroGo

Deja Vu

Timur Redzhepov

Anatoly Ilyenkov

Vlad Samarov

Ivan Alexandrov

Fit_Predict

The AI Gang vSOLO

peter

Alexey Alexeev

Victor Krasilnikov

Uckfo

Pavel

Mikhail Kostin

baseline четыре константы

Yuriy Kim

Timofey Zheleznyakov

Alexander Anokhin

Wanderer

just4fun

Vlad Balanda

dim khor

LTFM

Dmitry Tyan

Andrey Nikitin

Anton Karasev

Islam Tlupov

CONS

Dmitry Fedotov

Andrei Tarasov

Andrey Nikishaev

Crinjucci

Павел Киселев

Alexander Samokhin

Dima Kovalenko

Dmitry Kamsha

Ivan Mochalov

Kirill Vlasov

Erik

Nikolai Vdovin

Alexander Kanonirov

Nikita Nikonov

Среднее гармоничное между
MRR@100 и Precision@100
метриками

R1 (Harm. Mean)

Mean reciprocal rank, метрика 
ранжирования для первых 
100 кандидатов в пары

MRR @100

Precision, метрика точности 
для первых 100 кандидатов

Precision @100


1	Sberbank AI Lab	0.3052122376	0.2070366005	0.5804661487	3y	19
2	Anton Klenitskiy	0.3010897159	0.2076863819	0.5471698113	3y	52
3	Андрей Кузнецов	0.2963679352	0.2046329672	0.5371809101	3y	93
4	Dmitry Kutsenko	0.2835636865	0.1994165967	0.4905660377	3y	43
5	Roman Barilov	0.2808985766	0.1979448289	0.483536811	3y	30
6	Vladimir Testov	0.2789823203	0.1958047591	0.4850166482	3y	16
7	AlphaBetaZeroGo	0.2785912885	0.1963974158	0.4790972993	3y	57
8	Deja Vu	0.277963853	0.1955896243	0.4802071772	3y	58
9	Timur Redzhepov	0.2772332013	0.1971490358	0.4668886422	3y	53
10	Anatoly Ilyenkov	0.2758386415	0.1937329694	0.47872734	3y	52
11	Vlad Samarov	0.2735041125	0.1938465564	0.4642989271	3y	63
12	Ivan Alexandrov	0.2723439017	0.192746789	0.4639289678	3y	142
13	Fit_Predict	0.271585616	0.1926288388	0.4602293748	3y	263
14	The AI Gang vSOLO	0.2709996171	0.1932907387	0.453200148	3y	79
15	abc	0.2705181276	0.1924683698	0.4550499445	3y	22
16	peter	0.2665370897	0.190096266	0.4458009619	3y	18
17	Alexey Alexeev	0.2645673747	0.1899355429	0.4358120607	3y	15
18	Victor Krasilnikov	0.2619187803	0.1886884812	0.4280429153	3y	6
19	Uckfo	0.2619187803	0.1886884812	0.4280429153	3y	2
20	Pavel	0.2619187803	0.1886884812	0.4280429153	3y	1
21	Mikhail Kostin	0.2619187803	0.1886884812	0.4280429153	3y	1
22	baseline четыре константы	0.2608475817	0.1875786033	0.4280429153	3y	16
23	Yuriy Kim	0.2594164347	0.1862422119	0.4273029967	3y	4
24	Timofey Zheleznyakov	0.2588540632	0.1873167088	0.4187939327	3y	26
25	Alexander Anokhin	0.2559243719	0.1849159275	0.4154642989	3y	9
26	Wanderer	0.2550475564	0.1857216425	0.4069552349	3y	80
27	just4fun	0.2532059185	0.1875554007	0.3895671476	3y	25
28	Vlad Balanda	0.2528324188	0.1843753862	0.402145764	3y	125
29	dim khor	0.2516118922	0.1822489104	0.4062153163	3y	16
30	LTFM	0.2496640017	0.1861809784	0.3788383278	3y	36
31	Dmitry Tyan	0.2462791348	0.1826132964	0.3780984092	3y	17
32	Andrey Nikitin	0.2444201246	0.1804082476	0.3788383278	3y	20
33	Anton Karasev	0.2438216382	0.1724758501	0.4158342582	3y	5
34	Islam Tlupov	0.2430208338	0.180412006	0.3721790603	3y	18
35	CONS	0.241257778	0.1736415799	0.3951165372	3y	16
36	Dmitry Fedotov	0.240274147	0.1833382745	0.3485016648	3y	16
37	Andrei Tarasov	0.2378898714	0.1796951555	0.3518312986	3y	4
38	Andrey Nikishaev	0.2361696777	0.1771781677	0.3540510544	3y	30
39	Crinjucci	0.2358183547	0.1771542692	0.3525712172	3y	15
40	Павел Киселев	0.2357074751	0.1769360242	0.3529411765	3y	2
41	Alexander Samokhin	0.2335937337	0.159958613	0.4328523862	3y	2
42	Dima Kovalenko	0.2317976391	0.1745809756	0.3448020718	3y	3
43	Dmitry Kamsha	0.2314538184	0.1750535217	0.341472438	3y	29
44	Ivan Mochalov	0.2313363567	0.1752118455	0.3403625601	3y	1
OOC	Kirill Vlasov	0.2303261563	0.1750391108	0.3366629671	3y	30
45	Erik	0.2299100745	0.1754677385	0.3333333333	3y	1
46	lh	0.2295043513	0.1746911795	0.3344432112	3y	9
47	Nikolai Vdovin	0.2294011822	0.1748755927	0.3333333333	3y	3
48	Alexander Kanonirov	0.2288935297	0.174489227	0.3325934147	3y	1
49	Nikita Nikonov	0.2262226259	0.1738614654	0.3237143914	3y	2