<h2>Задача 1. Matching &mdash; основная задача соревнования</h2>

Необходимо решить Matching задачу соотнесения клиентов в формате контейнеров с кодом. А именно, используя данные транзакций и кликстримов, сперва построить предрассчитанные вектора. Затем для каждого клиента ВТБ требуется сопоставить полученные вектора и отранжировать клиентов &ldquo;Ростелекома&rdquo; по наибольшей вероятности их совпадения.&nbsp;

&nbsp;

<h3>Правила участия</h3>

Нажимая кнопку &laquo;Участвовать&raquo; и/или &laquo;Отправить решение&raquo;, вы соглашаетесь с <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/DataFusion2022/Rules_Data_Fusion_2022.pdf" rel="noopener noreferrer" target="_blank">Правилами участия в соревновании Data Fusion Contest 2022</a>.

&nbsp;

<h3>Данные</h3>

Для решения Matching задачи во вкладке данные участникам&nbsp;доступны несколько наборов данных:&nbsp;

<ol>
<li>Общие данные для всех задач в табличном <code>.csv</code> формате:&nbsp;<code>transactions.zip</code>,&nbsp;<code>clicstream.zip</code> и целевая переменная <code>train_matching.csv</code></li>
<li>Общие сопроводительные данные для всех задач в табличном <code>.csv</code> формате:&nbsp;<code>mcc_codes.csv</code>,&nbsp;<code>click_categories.csv</code> и&nbsp;<code>currency_rk.csv</code></li>
<li>Бейзлайны и примеры решений для контейнерной Matching задачи: случайное решение&nbsp;<code>sample_submission.zip</code> и <code>baseline_catboost.zip</code> с примером решения на библиотеке catboost с использованием GPU</li>
</ol>

Ссылки на скачивание данных доступны во вкладке Данные для присоединившихся к соревнованию участников.

<h3>Проверка решений</h3>

<ul>
<li>Решения проверяются автоматически. Запуск происходит&nbsp;в изолированной среде без доступа в интернет на полностью закрытых тестовых данных, которые не передаются участникам.</li>
<li>Тестовое множество не пересекается с доступными данными&nbsp;&mdash; оно состоит из новых данных клиентов ВТБ и &ldquo;Ростелекома&rdquo;.&nbsp;Соотношение public/private в соревновании составляет 50/50. Победители соревнования определяются по результатам на private лидерборде.</li>
<li>Метрика соревнования&nbsp;&mdash; <code>R1</code>. Аналогично метрике F1, это среднее гармоническое между <code>Precision@100</code> и <code>MRR@100</code>. В лидерборде также отражаются составляющие для <code>R1</code> метрики, но именно <code>R1</code> является основной метрикой соревнования.</li>
<li>Как в тренировочных, так и в тестовых данных, возможны ситуации, когда для клиента ВТБ отсутствует пара в данных &ldquo;Ростелекома&rdquo;. В таком случае, истиной парой для клиента считается <code>rtk_id=0</code>. Этот специальный случай отсутствия пары также необходимо учитывать в разработке решений для Matching задачи.</li>
</ul>

<h3>Доступные ресурсы для решений</h3>

<ul>
<li>8 ядер CPU</li>
<li>96Gb RAM</li>
<li>Видеокарта NVidia Tesla V100</li>
</ul>

Для отладки решений можно также решать упрощенную <a href="https://ods.ai/competitions/data-fusion2022-puzzle" rel="noopener noreferrer" target="_blank">задачу Puzzle</a>, которая реализована в классическом табличном формате проверки.&nbsp;

<h3>Ограничения для решений</h3>

<ul>
<li>5Gb для архива с решением</li>
<li>60 минут на работу решения</li>
<li>5 решений в день на команду</li>
</ul>

<h3>Информация&nbsp;для участников</h3>

<ul>
<li>В соревновании могут принимать участие граждане со всего мира. Участники могут объединяться в команды до 4-ёх человек. Участвовать можно в любом количестве из предложенных задач и номинаций.</li>
<li>Ответы на часто задаваемые вопросы по задаче Matching можно найти на странице FAQ. Ответы на вопросы по всему Data Fusion Contest 2022 доступны&nbsp;на <a href="https://ods.ai/tracks/data-fusion-2022-competitions/faq" rel="noopener noreferrer" target="_blank">FAQ странице трека</a>.</li>
<li>Официальный канал общения и обсуждения между участниками всех задач &mdash; канал <a href="https://opendatascience.slack.com/archives/C031KNXKPG8" rel="noopener noreferrer" target="_blank">#proj_data_fusion_22</a> в ODS #slack. Важные анонсы,&nbsp;объявления и ответы на вопросы будут сперва появляться в канале ODS, после чего добавляться в FAQ и новости соревнования на ods.ai.</li>
</ul>

<h3>Дополнительные активности</h3>

<ul>
<li>Участвуйте в специальных номинациях, каждая из которых имеет свой призовой фонд! Делитесь вашими решениями с другими участниками соревнования в канале <a href="https://opendatascience.slack.com/archives/C031KNXKPG8" rel="noopener noreferrer" target="_blank">#proj_data_fusion_22</a> в рамках номинации Companion, либо отправляйте ваши нестандартные решения в номинацию Insight.</li>
<li>Следите за новостями Data Fusion Contest 2022 &mdash; вас ждут митапы и воркшопы с разборами решений задач, а также регулярные розыгрыши мерча ODS!</li>
<li>Уникальный механизм добавления предрасчитанных фичей! Вы можете создать публичное решение с генерацией фичей, которые мы добавим отдельной папкой с фичами, доступными внутри контейнера. Голосования за добавление фичей будут проходить в канале <a href="https://opendatascience.slack.com/archives/C031KNXKPG8" rel="noopener noreferrer" target="_blank">#proj_data_fusion_22</a>, а добавленные фичи будут анонсироваться на митапах.</li>
</ul>

<h3>Призовой фонд задачи 1, Matching</h3>

1 место: 500 000 рублей 
2 место: 300 000 рублей 
3 место: 200 000 рублей 
4 и 5 место: 100 000 рублей 
с 6 по 10 место: 50 000 рублей

&nbsp;

<h3>FAQ</h3>

Q: Можете сказать, откуда собираются данные в clickstream.csv?

A: В файле clickstream.csv трафик интернет-провайдера со всех сайтов, категоризованный по тематикам (интересам). Например, просмотр видео на Ютубе про мебель категоризуется в тематику &quot;мебель&quot;. Аналогично с остальными сайтами: категоризуется не сам домен, а тематика конкретной страницы.

&nbsp;

&nbsp;

Q: В задаче Puzzle&nbsp;можно использовать модель или данные с главной задачи? А наоборот?

A: Да, вы можете использовать и модели и данные из разных задач на свое усмотрение.

&nbsp;

&nbsp;

Q: Я отправил сабмишн, получил статус &ldquo;Failed&rdquo;, но нет ссылки на текст ошибки. Что делать?

A: Скорее всего, в ваших предсказаниях представлены не все id, которые встречаются в списке id из файла transactions.csv в тесте. Это могло произойти, например, из-за фильтрации данных.

&nbsp;

&nbsp;

Q: Можно ли учитывать ограничение решение по времени (60 минут) только в части применения модели и не учитывать трансформацию данных?

A: Нет. Условия задачи подразумевают получить матч за 60 минут для входных потоков транзакций и кликстрима.

&nbsp;

&nbsp;

Q: Есть ли возможность посмотреть transactions.csv и clickstream.csv представленных в тесте? Эти ID присутствуют в данных для обучения?

A: Нет, эти данные недоступны участникам.

&nbsp;

&nbsp;

Q: Сколько данных в тесте?

A: В public и private содержится приблизительно по 3000 уникальных id. При этом public и private считаются раздельно, и следовательно ограничение по ресурсам и времени распространяется на раздельный подсчет public и private.

&nbsp;

Решите Matching задачу: по данным транзакций и кликстрима, требуется сперва построить обезличенные вектора. Затем для каждого клиента ВТБ нужно сопоставить вектора и отранжировать клиентов "Ростелекома" по вероятности их совпадения.

Public

Private

https://storage.yandexcloud.net/ds-ods/files/media/meta_tag/file/01a619df40f3/smm.jpg

description

Данные

Baselines

User Agreement Bank

<a data-remove-tab-index="true" data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5_%D0%BD%D0%B0_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D1%83_%D0%9F%D0%94%D0%BD_%D0%9F%D0%90%D0%9E_%D0%92%D0%A2%D0%91_Data_Fusion_%D0%9F%D0%B8_%D0%90%D1%80_%D0%9F%D0%B0%D1%80%D1%82%D0%BD%D0%B5%D1%80_1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5_%D0%BD%D0%B0_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D1%83_%D0%9F%D0%94%D0%BD_%D0%9F%D0%90%D0%9E_%D0%92%D0%A2%D0%91_Data_Fusion_%D0%9F%D0%B8_%D0%90%D1%80_%D0%9F%D0%B0%D1%80%D1%82%D0%BD%D0%B5%D1%80_1.pdf" rel="noopener noreferrer" tabindex="-1" target="_blank">даю согласие</a>&nbsp;Банку ВТБ (ПАО) на обработку моих персональных данных, ознакомлен с&nbsp;<a data-remove-tab-index="true" data-sk="tooltip_parent" data-stringify-link="https://www.vtb.ru/-/media/Files/aktsioneram-i-investoram/raskrytie-informatsii/ustav-i-vnutrennie-dokumenty/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf" delay="150" href="https://www.vtb.ru/-/media/Files/aktsioneram-i-investoram/raskrytie-informatsii/ustav-i-vnutrennie-dokumenty/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf" rel="noopener noreferrer" tabindex="-1" target="_blank">Положением об организации обработки персональных данных&nbsp;Банком ВТБ (ПАО)</a>&nbsp;

Consent Data Processing (Data Souls)

<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" rel="noopener noreferrer" target="_blank">даю согласие</a>&nbsp;DataSouls на обработку моих персональных данных

Privacy Policy and User agreement (Data Souls)

ознакомлен и принимаю&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" rel="noopener noreferrer" target="_blank">Пользовательское соглашение</a>&nbsp;и&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" rel="noopener noreferrer" target="_blank">Политику конфиденциальности</a>&nbsp;DataSouls

first_name

First name

last_name

Last name

country

Country (lat)

city

City (lat)

email

Email

phone_optional

Phone (Optional)

Occupation

Experience

Experience in DC

study_place2

Company/study place name

Registration application for Data Fusion 2022

Соревнование Data Fusion Contest 2022. Задача Matching

Container

Anton Klenitskiy

Sberbank AI Lab

Андрей Кузнецов

Dmitry Kutsenko

Roman Barilov

Deja Vu

Vladimir Testov

AlphaBetaZeroGo

Anatoly Ilyenkov

Timur Redzhepov

Vlad Samarov

Fit_Predict

Ivan Alexandrov

The AI Gang vSOLO

peter

Victor Krasilnikov

Alexey Alexeev

Uckfo

Pavel

Mikhail Kostin

Timofey Zheleznyakov

baseline четыре константы

Yuriy Kim

Wanderer

just4fun

dim khor

Vlad Balanda

Alexander Anokhin

LTFM

Dmitry Tyan

Anton Karasev

Dmitry Fedotov

Islam Tlupov

Andrey Nikitin

CONS

Andrei Tarasov

Andrey Nikishaev

Crinjucci

Павел Киселев

Alexander Samokhin

Dima Kovalenko

Erik

Nikolai Vdovin

Alexander Kanonirov

Ivan Mochalov

Kirill Vlasov

Dmitry Kamsha

Sergey Rudnitsky

Среднее гармоничное между
MRR@100 и Precision@100
метриками

R1 (Harm. Mean)

Mean reciprocal rank, метрика 
ранжирования для первых 
100 кандидатов в пары

MRR @100

Precision, метрика точности 
для первых 100 кандидатов

Precision @100

#	Teams (86)	R1 (Harm. Mean)	MRR @100	Precision @100	Last	Entries
1	Anton Klenitskiy	0.3054727907	0.2142645541	0.5318864775	3y	52
2	Sberbank AI Lab	0.3053042515	0.2110156476	0.5519198664	3y	19
3	Андрей Кузнецов	0.2991339298	0.2097071414	0.5215358932	3y	93
4	Dmitry Kutsenko	0.289583058	0.2055540741	0.4898163606	3y	43
5	Roman Barilov	0.2862776821	0.2039975044	0.4797996661	3y	30
6	Deja Vu	0.2856012251	0.2035519761	0.4784641068	3y	58
7	Vladimir Testov	0.2827899499	0.2022758206	0.4697829716	3y	16
8	AlphaBetaZeroGo	0.282165223	0.2016371642	0.4697829716	3y	57
9	Anatoly Ilyenkov	0.2817896227	0.2007072743	0.47278798	3y	52
10	Timur Redzhepov	0.2811519061	0.2024875998	0.4597662771	3y	53
11	Vlad Samarov	0.2782520097	0.2004507432	0.4547579299	3y	63
12	Fit_Predict	0.2780816261	0.199760229	0.4574290484	3y	263
13	Ivan Alexandrov	0.2767019842	0.1986549554	0.4557595993	3y	142
14	abc	0.2759590044	0.1994397575	0.4477462437	3y	22
15	The AI Gang vSOLO	0.2744787558	0.1977669534	0.4484140234	3y	79
16	peter	0.2708915261	0.1961356035	0.4377295492	3y	18
17	Victor Krasilnikov	0.2673977116	0.1942901597	0.4287145242	3y	6
18	Alexey Alexeev	0.2673977116	0.1942901597	0.4287145242	3y	15
19	Uckfo	0.2673977116	0.1942901597	0.4287145242	3y	2
20	Pavel	0.2673977116	0.1942901597	0.4287145242	3y	1
21	Mikhail Kostin	0.2673977116	0.1942901597	0.4287145242	3y	1
22	Timofey Zheleznyakov	0.2672048614	0.1937463647	0.4303839733	3y	26
23	baseline четыре константы	0.2652661058	0.1920475331	0.4287145242	3y	16
24	Yuriy Kim	0.2621703198	0.1894741365	0.425375626	3y	4
25	Wanderer	0.257293455	0.1897123986	0.3996661102	3y	80
26	just4fun	0.2568661858	0.1907832492	0.3929883139	3y	25
27	dim khor	0.2563341019	0.1883749272	0.4010016694	3y	16
28	Vlad Balanda	0.2557321884	0.1906415924	0.3883138564	3y	125
29	Alexander Anokhin	0.2536914629	0.1867751522	0.3953255426	3y	9
30	LTFM	0.253078191	0.1901404049	0.3782971619	3y	36
31	Dmitry Tyan	0.2530165314	0.1907523411	0.3756260434	3y	17
32	Anton Karasev	0.2478134257	0.1770711114	0.412687813	3y	5
33	Dmitry Fedotov	0.245447925	0.1859501589	0.3609348915	3y	16
34	Islam Tlupov	0.2439444309	0.1821284003	0.3692821369	3y	18
35	Andrey Nikitin	0.2433990469	0.1773903148	0.3876460768	3y	20
36	CONS	0.2424587947	0.178473759	0.3779632721	3y	16
37	Andrei Tarasov	0.2413873744	0.1852778714	0.3462437396	3y	4
38	Andrey Nikishaev	0.2373761169	0.1801422943	0.3479131886	3y	30
39	Crinjucci	0.2357584542	0.1784614457	0.347245409	3y	15
40	Павел Киселев	0.2354784106	0.178762153	0.3449081803	3y	2
41	Alexander Samokhin	0.2350232462	0.1620278279	0.4277128548	3y	2
42	Dima Kovalenko	0.234610467	0.179216841	0.3395659432	3y	3
43	Erik	0.23321153	0.1781422374	0.3375626043	3y	1
44	Nikolai Vdovin	0.2324351373	0.1788437642	0.3318864775	3y	3
45	Alexander Kanonirov	0.2323557938	0.1781740602	0.3338898164	3y	1
46	Ivan Mochalov	0.2321485006	0.1786013319	0.3315525876	3y	1
OOC	Kirill Vlasov	0.2318379691	0.1788183637	0.3295492487	3y	30
47	Dmitry Kamsha	0.2317226563	0.1784854961	0.3302170284	3y	29
48	lh	0.2286706228	0.1772239749	0.3222036728	3y	9
49	Sergey Rudnitsky	0.2244165554	0.1793140074	0.2998330551	3y	1