<h2>Задача 1. Matching &mdash; основная задача соревнования</h2>

Необходимо решить Matching задачу соотнесения клиентов в формате контейнеров с кодом. А именно, используя данные транзакций и кликстримов, сперва построить предрассчитанные вектора. Затем для каждого клиента ВТБ требуется сопоставить полученные вектора и отранжировать клиентов &ldquo;Ростелекома&rdquo; по наибольшей вероятности их совпадения.&nbsp;

&nbsp;

<h3>Правила участия</h3>

Нажимая кнопку &laquo;Участвовать&raquo; и/или &laquo;Отправить решение&raquo;, вы соглашаетесь с <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/DataFusion2022/Rules_Data_Fusion_2022.pdf" rel="noopener noreferrer" target="_blank">Правилами участия в соревновании Data Fusion Contest 2022</a>.

&nbsp;

<h3>Данные</h3>

Для решения Matching задачи во вкладке данные участникам&nbsp;доступны несколько наборов данных:&nbsp;

<ol>
<li>Общие данные для всех задач в табличном <code>.csv</code> формате:&nbsp;<code>transactions.zip</code>,&nbsp;<code>clicstream.zip</code> и целевая переменная <code>train_matching.csv</code></li>
<li>Общие сопроводительные данные для всех задач в табличном <code>.csv</code> формате:&nbsp;<code>mcc_codes.csv</code>,&nbsp;<code>click_categories.csv</code> и&nbsp;<code>currency_rk.csv</code></li>
<li>Бейзлайны и примеры решений для контейнерной Matching задачи: случайное решение&nbsp;<code>sample_submission.zip</code> и <code>baseline_catboost.zip</code> с примером решения на библиотеке catboost с использованием GPU</li>
</ol>

Ссылки на скачивание данных доступны во вкладке Данные для присоединившихся к соревнованию участников.

<h3>Проверка решений</h3>

<ul>
<li>Решения проверяются автоматически. Запуск происходит&nbsp;в изолированной среде без доступа в интернет на полностью закрытых тестовых данных, которые не передаются участникам.</li>
<li>Тестовое множество не пересекается с доступными данными&nbsp;&mdash; оно состоит из новых данных клиентов ВТБ и &ldquo;Ростелекома&rdquo;.&nbsp;Соотношение public/private в соревновании составляет 50/50. Победители соревнования определяются по результатам на private лидерборде.</li>
<li>Метрика соревнования&nbsp;&mdash; <code>R1</code>. Аналогично метрике F1, это среднее гармоническое между <code>Precision@100</code> и <code>MRR@100</code>. В лидерборде также отражаются составляющие для <code>R1</code> метрики, но именно <code>R1</code> является основной метрикой соревнования.</li>
<li>Как в тренировочных, так и в тестовых данных, возможны ситуации, когда для клиента ВТБ отсутствует пара в данных &ldquo;Ростелекома&rdquo;. В таком случае, истиной парой для клиента считается <code>rtk_id=0</code>. Этот специальный случай отсутствия пары также необходимо учитывать в разработке решений для Matching задачи.</li>
</ul>

<h3>Доступные ресурсы для решений</h3>

<ul>
<li>8 ядер CPU</li>
<li>96Gb RAM</li>
<li>Видеокарта NVidia Tesla V100</li>
</ul>

Для отладки решений можно также решать упрощенную <a href="https://ods.ai/competitions/data-fusion2022-puzzle" rel="noopener noreferrer" target="_blank">задачу Puzzle</a>, которая реализована в классическом табличном формате проверки.&nbsp;

<h3>Ограничения для решений</h3>

<ul>
<li>5Gb для архива с решением</li>
<li>60 минут на работу решения</li>
<li>5 решений в день на команду</li>
</ul>

<h3>Информация&nbsp;для участников</h3>

<ul>
<li>В соревновании могут принимать участие граждане со всего мира. Участники могут объединяться в команды до 4-ёх человек. Участвовать можно в любом количестве из предложенных задач и номинаций.</li>
<li>Ответы на часто задаваемые вопросы по задаче Matching можно найти на странице FAQ. Ответы на вопросы по всему Data Fusion Contest 2022 доступны&nbsp;на <a href="https://ods.ai/tracks/data-fusion-2022-competitions/faq" rel="noopener noreferrer" target="_blank">FAQ странице трека</a>.</li>
<li>Официальный канал общения и обсуждения между участниками всех задач &mdash; канал <a href="https://opendatascience.slack.com/archives/C031KNXKPG8" rel="noopener noreferrer" target="_blank">#proj_data_fusion_22</a> в ODS #slack. Важные анонсы,&nbsp;объявления и ответы на вопросы будут сперва появляться в канале ODS, после чего добавляться в FAQ и новости соревнования на ods.ai.</li>
</ul>

<h3>Дополнительные активности</h3>

<ul>
<li>Участвуйте в специальных номинациях, каждая из которых имеет свой призовой фонд! Делитесь вашими решениями с другими участниками соревнования в канале <a href="https://opendatascience.slack.com/archives/C031KNXKPG8" rel="noopener noreferrer" target="_blank">#proj_data_fusion_22</a> в рамках номинации Companion, либо отправляйте ваши нестандартные решения в номинацию Insight.</li>
<li>Следите за новостями Data Fusion Contest 2022 &mdash; вас ждут митапы и воркшопы с разборами решений задач, а также регулярные розыгрыши мерча ODS!</li>
<li>Уникальный механизм добавления предрасчитанных фичей! Вы можете создать публичное решение с генерацией фичей, которые мы добавим отдельной папкой с фичами, доступными внутри контейнера. Голосования за добавление фичей будут проходить в канале <a href="https://opendatascience.slack.com/archives/C031KNXKPG8" rel="noopener noreferrer" target="_blank">#proj_data_fusion_22</a>, а добавленные фичи будут анонсироваться на митапах.</li>
</ul>

<h3>Призовой фонд задачи 1, Matching</h3>

1 место: 500 000 рублей 
2 место: 300 000 рублей 
3 место: 200 000 рублей 
4 и 5 место: 100 000 рублей 
с 6 по 10 место: 50 000 рублей

&nbsp;

<h3>FAQ</h3>

Q: Можете сказать, откуда собираются данные в clickstream.csv?

A: В файле clickstream.csv трафик интернет-провайдера со всех сайтов, категоризованный по тематикам (интересам). Например, просмотр видео на Ютубе про мебель категоризуется в тематику &quot;мебель&quot;. Аналогично с остальными сайтами: категоризуется не сам домен, а тематика конкретной страницы.

&nbsp;

&nbsp;

Q: В задаче Puzzle&nbsp;можно использовать модель или данные с главной задачи? А наоборот?

A: Да, вы можете использовать и модели и данные из разных задач на свое усмотрение.

&nbsp;

&nbsp;

Q: Я отправил сабмишн, получил статус &ldquo;Failed&rdquo;, но нет ссылки на текст ошибки. Что делать?

A: Скорее всего, в ваших предсказаниях представлены не все id, которые встречаются в списке id из файла transactions.csv в тесте. Это могло произойти, например, из-за фильтрации данных.

&nbsp;

&nbsp;

Q: Можно ли учитывать ограничение решение по времени (60 минут) только в части применения модели и не учитывать трансформацию данных?

A: Нет. Условия задачи подразумевают получить матч за 60 минут для входных потоков транзакций и кликстрима.

&nbsp;

&nbsp;

Q: Есть ли возможность посмотреть transactions.csv и clickstream.csv представленных в тесте? Эти ID присутствуют в данных для обучения?

A: Нет, эти данные недоступны участникам.

&nbsp;

&nbsp;

Q: Сколько данных в тесте?

A: В public и private содержится приблизительно по 3000 уникальных id. При этом public и private считаются раздельно, и следовательно ограничение по ресурсам и времени распространяется на раздельный подсчет public и private.

&nbsp;

Решите Matching задачу: по данным транзакций и кликстрима, требуется сперва построить обезличенные вектора. Затем для каждого клиента ВТБ нужно сопоставить вектора и отранжировать клиентов "Ростелекома" по вероятности их совпадения.

Public

Private

https://storage.yandexcloud.net/ds-ods/files/media/meta_tag/file/01a619df40f3/smm.jpg

description

Данные

Baselines

User Agreement Bank

<a data-remove-tab-index="true" data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5_%D0%BD%D0%B0_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D1%83_%D0%9F%D0%94%D0%BD_%D0%9F%D0%90%D0%9E_%D0%92%D0%A2%D0%91_Data_Fusion_%D0%9F%D0%B8_%D0%90%D1%80_%D0%9F%D0%B0%D1%80%D1%82%D0%BD%D0%B5%D1%80_1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5_%D0%BD%D0%B0_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D1%83_%D0%9F%D0%94%D0%BD_%D0%9F%D0%90%D0%9E_%D0%92%D0%A2%D0%91_Data_Fusion_%D0%9F%D0%B8_%D0%90%D1%80_%D0%9F%D0%B0%D1%80%D1%82%D0%BD%D0%B5%D1%80_1.pdf" rel="noopener noreferrer" tabindex="-1" target="_blank">даю согласие</a>&nbsp;Банку ВТБ (ПАО) на обработку моих персональных данных, ознакомлен с&nbsp;<a data-remove-tab-index="true" data-sk="tooltip_parent" data-stringify-link="https://www.vtb.ru/-/media/Files/aktsioneram-i-investoram/raskrytie-informatsii/ustav-i-vnutrennie-dokumenty/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf" delay="150" href="https://www.vtb.ru/-/media/Files/aktsioneram-i-investoram/raskrytie-informatsii/ustav-i-vnutrennie-dokumenty/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf" rel="noopener noreferrer" tabindex="-1" target="_blank">Положением об организации обработки персональных данных&nbsp;Банком ВТБ (ПАО)</a>&nbsp;

Consent Data Processing (Data Souls)

<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" rel="noopener noreferrer" target="_blank">даю согласие</a>&nbsp;DataSouls на обработку моих персональных данных

Privacy Policy and User agreement (Data Souls)

ознакомлен и принимаю&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" rel="noopener noreferrer" target="_blank">Пользовательское соглашение</a>&nbsp;и&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" rel="noopener noreferrer" target="_blank">Политику конфиденциальности</a>&nbsp;DataSouls

first_name

First name

last_name

Last name

country

Country (lat)

city

City (lat)

email

Email

phone_optional

Phone (Optional)

Occupation

Experience

Experience in DC

study_place2

Company/study place name

Registration application for Data Fusion 2022

Соревнование Data Fusion Contest 2022. Задача Matching

Container

Anton Klenitskiy

Sberbank AI Lab

Андрей Кузнецов

Dmitry Kutsenko

Roman Barilov

Deja Vu

Vladimir Testov

AlphaBetaZeroGo

Anatoly Ilyenkov

Timur Redzhepov

Vlad Samarov

Fit_Predict

Ivan Alexandrov

The AI Gang vSOLO

peter

Victor Krasilnikov

Alexey Alexeev

Uckfo

Pavel

Mikhail Kostin

Timofey Zheleznyakov

baseline четыре константы

Yuriy Kim

Wanderer

just4fun

dim khor

Vlad Balanda

Alexander Anokhin

LTFM

Dmitry Tyan

Anton Karasev

Dmitry Fedotov

Islam Tlupov

Andrey Nikitin

CONS

Andrei Tarasov

Andrey Nikishaev

Crinjucci

Павел Киселев

Alexander Samokhin

Dima Kovalenko

Erik

Nikolai Vdovin

Alexander Kanonirov

Ivan Mochalov

Kirill Vlasov

Dmitry Kamsha

Sergey Rudnitsky

Среднее гармоничное между
MRR@100 и Precision@100
метриками

R1 (Harm. Mean)

Mean reciprocal rank, метрика 
ранжирования для первых 
100 кандидатов в пары

MRR @100

Precision, метрика точности 
для первых 100 кандидатов

Precision @100

#	Teams (86)	R1 (Harm. Mean)	MRR @100	Precision @100	Last	Entries
1	Anton Klenitskiy	0.3054727907	0.2142645541	0.5318864775	4y	52
2	Sberbank AI Lab	0.3053042515	0.2110156476	0.5519198664	4y	19
3	Андрей Кузнецов	0.2991339298	0.2097071414	0.5215358932	4y	93
4	Dmitry Kutsenko	0.289583058	0.2055540741	0.4898163606	4y	43
5	Roman Barilov	0.2862776821	0.2039975044	0.4797996661	4y	30
6	Deja Vu	0.2856012251	0.2035519761	0.4784641068	4y	58
7	Vladimir Testov	0.2827899499	0.2022758206	0.4697829716	4y	16
8	AlphaBetaZeroGo	0.282165223	0.2016371642	0.4697829716	4y	57
9	Anatoly Ilyenkov	0.2817896227	0.2007072743	0.47278798	4y	52
10	Timur Redzhepov	0.2811519061	0.2024875998	0.4597662771	4y	53
11	Vlad Samarov	0.2782520097	0.2004507432	0.4547579299	4y	63
12	Fit_Predict	0.2780816261	0.199760229	0.4574290484	4y	263
13	Ivan Alexandrov	0.2767019842	0.1986549554	0.4557595993	4y	142
14	abc	0.2759590044	0.1994397575	0.4477462437	4y	22
15	The AI Gang vSOLO	0.2744787558	0.1977669534	0.4484140234	4y	79
16	peter	0.2708915261	0.1961356035	0.4377295492	4y	18
17	Victor Krasilnikov	0.2673977116	0.1942901597	0.4287145242	4y	6
18	Alexey Alexeev	0.2673977116	0.1942901597	0.4287145242	4y	15
19	Uckfo	0.2673977116	0.1942901597	0.4287145242	4y	2
20	Pavel	0.2673977116	0.1942901597	0.4287145242	4y	1
21	Mikhail Kostin	0.2673977116	0.1942901597	0.4287145242	4y	1
22	Timofey Zheleznyakov	0.2672048614	0.1937463647	0.4303839733	4y	26
23	baseline четыре константы	0.2652661058	0.1920475331	0.4287145242	4y	16
24	Yuriy Kim	0.2621703198	0.1894741365	0.425375626	4y	4
25	Wanderer	0.257293455	0.1897123986	0.3996661102	4y	80
26	just4fun	0.2568661858	0.1907832492	0.3929883139	4y	25
27	dim khor	0.2563341019	0.1883749272	0.4010016694	4y	16
28	Vlad Balanda	0.2557321884	0.1906415924	0.3883138564	4y	125
29	Alexander Anokhin	0.2536914629	0.1867751522	0.3953255426	4y	9
30	LTFM	0.253078191	0.1901404049	0.3782971619	4y	36
31	Dmitry Tyan	0.2530165314	0.1907523411	0.3756260434	4y	17
32	Anton Karasev	0.2478134257	0.1770711114	0.412687813	4y	5
33	Dmitry Fedotov	0.245447925	0.1859501589	0.3609348915	4y	16
34	Islam Tlupov	0.2439444309	0.1821284003	0.3692821369	4y	18
35	Andrey Nikitin	0.2433990469	0.1773903148	0.3876460768	4y	20
36	CONS	0.2424587947	0.178473759	0.3779632721	4y	16
37	Andrei Tarasov	0.2413873744	0.1852778714	0.3462437396	4y	4
38	Andrey Nikishaev	0.2373761169	0.1801422943	0.3479131886	4y	30
39	Crinjucci	0.2357584542	0.1784614457	0.347245409	4y	15
40	Павел Киселев	0.2354784106	0.178762153	0.3449081803	4y	2
41	Alexander Samokhin	0.2350232462	0.1620278279	0.4277128548	4y	2
42	Dima Kovalenko	0.234610467	0.179216841	0.3395659432	4y	3
43	Erik	0.23321153	0.1781422374	0.3375626043	4y	1
44	Nikolai Vdovin	0.2324351373	0.1788437642	0.3318864775	4y	3
45	Alexander Kanonirov	0.2323557938	0.1781740602	0.3338898164	4y	1
46	Ivan Mochalov	0.2321485006	0.1786013319	0.3315525876	4y	1
OOC	Kirill Vlasov	0.2318379691	0.1788183637	0.3295492487	4y	30
47	Dmitry Kamsha	0.2317226563	0.1784854961	0.3302170284	4y	29
48	lh	0.2286706228	0.1772239749	0.3222036728	4y	9
49	Sergey Rudnitsky	0.2244165554	0.1793140074	0.2998330551	4y	1