<h2>Задача 1. Matching &mdash; основная задача соревнования</h2>

Необходимо решить Matching задачу соотнесения клиентов в формате контейнеров с кодом. А именно, используя данные транзакций и кликстримов, сперва построить предрассчитанные вектора. Затем для каждого клиента ВТБ требуется сопоставить полученные вектора и отранжировать клиентов &ldquo;Ростелекома&rdquo; по наибольшей вероятности их совпадения.&nbsp;

&nbsp;

<h3>Правила участия</h3>

Нажимая кнопку &laquo;Участвовать&raquo; и/или &laquo;Отправить решение&raquo;, вы соглашаетесь с <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/DataFusion2022/Rules_Data_Fusion_2022.pdf" rel="noopener noreferrer" target="_blank">Правилами участия в соревновании Data Fusion Contest 2022</a>.

&nbsp;

<h3>Данные</h3>

Для решения Matching задачи во вкладке данные участникам&nbsp;доступны несколько наборов данных:&nbsp;

<ol>
<li>Общие данные для всех задач в табличном <code>.csv</code> формате:&nbsp;<code>transactions.zip</code>,&nbsp;<code>clicstream.zip</code> и целевая переменная <code>train_matching.csv</code></li>
<li>Общие сопроводительные данные для всех задач в табличном <code>.csv</code> формате:&nbsp;<code>mcc_codes.csv</code>,&nbsp;<code>click_categories.csv</code> и&nbsp;<code>currency_rk.csv</code></li>
<li>Бейзлайны и примеры решений для контейнерной Matching задачи: случайное решение&nbsp;<code>sample_submission.zip</code> и <code>baseline_catboost.zip</code> с примером решения на библиотеке catboost с использованием GPU</li>
</ol>

Ссылки на скачивание данных доступны во вкладке Данные для присоединившихся к соревнованию участников.

<h3>Проверка решений</h3>

<ul>
<li>Решения проверяются автоматически. Запуск происходит&nbsp;в изолированной среде без доступа в интернет на полностью закрытых тестовых данных, которые не передаются участникам.</li>
<li>Тестовое множество не пересекается с доступными данными&nbsp;&mdash; оно состоит из новых данных клиентов ВТБ и &ldquo;Ростелекома&rdquo;.&nbsp;Соотношение public/private в соревновании составляет 50/50. Победители соревнования определяются по результатам на private лидерборде.</li>
<li>Метрика соревнования&nbsp;&mdash; <code>R1</code>. Аналогично метрике F1, это среднее гармоническое между <code>Precision@100</code> и <code>MRR@100</code>. В лидерборде также отражаются составляющие для <code>R1</code> метрики, но именно <code>R1</code> является основной метрикой соревнования.</li>
<li>Как в тренировочных, так и в тестовых данных, возможны ситуации, когда для клиента ВТБ отсутствует пара в данных &ldquo;Ростелекома&rdquo;. В таком случае, истиной парой для клиента считается <code>rtk_id=0</code>. Этот специальный случай отсутствия пары также необходимо учитывать в разработке решений для Matching задачи.</li>
</ul>

<h3>Доступные ресурсы для решений</h3>

<ul>
<li>8 ядер CPU</li>
<li>96Gb RAM</li>
<li>Видеокарта NVidia Tesla V100</li>
</ul>

Для отладки решений можно также решать упрощенную <a href="https://ods.ai/competitions/data-fusion2022-puzzle" rel="noopener noreferrer" target="_blank">задачу Puzzle</a>, которая реализована в классическом табличном формате проверки.&nbsp;

<h3>Ограничения для решений</h3>

<ul>
<li>5Gb для архива с решением</li>
<li>60 минут на работу решения</li>
<li>5 решений в день на команду</li>
</ul>

<h3>Информация&nbsp;для участников</h3>

<ul>
<li>В соревновании могут принимать участие граждане со всего мира. Участники могут объединяться в команды до 4-ёх человек. Участвовать можно в любом количестве из предложенных задач и номинаций.</li>
<li>Ответы на часто задаваемые вопросы по задаче Matching можно найти на странице FAQ. Ответы на вопросы по всему Data Fusion Contest 2022 доступны&nbsp;на <a href="https://ods.ai/tracks/data-fusion-2022-competitions/faq" rel="noopener noreferrer" target="_blank">FAQ странице трека</a>.</li>
<li>Официальный канал общения и обсуждения между участниками всех задач &mdash; канал <a href="https://opendatascience.slack.com/archives/C031KNXKPG8" rel="noopener noreferrer" target="_blank">#proj_data_fusion_22</a> в ODS #slack. Важные анонсы,&nbsp;объявления и ответы на вопросы будут сперва появляться в канале ODS, после чего добавляться в FAQ и новости соревнования на ods.ai.</li>
</ul>

<h3>Дополнительные активности</h3>

<ul>
<li>Участвуйте в специальных номинациях, каждая из которых имеет свой призовой фонд! Делитесь вашими решениями с другими участниками соревнования в канале <a href="https://opendatascience.slack.com/archives/C031KNXKPG8" rel="noopener noreferrer" target="_blank">#proj_data_fusion_22</a> в рамках номинации Companion, либо отправляйте ваши нестандартные решения в номинацию Insight.</li>
<li>Следите за новостями Data Fusion Contest 2022 &mdash; вас ждут митапы и воркшопы с разборами решений задач, а также регулярные розыгрыши мерча ODS!</li>
<li>Уникальный механизм добавления предрасчитанных фичей! Вы можете создать публичное решение с генерацией фичей, которые мы добавим отдельной папкой с фичами, доступными внутри контейнера. Голосования за добавление фичей будут проходить в канале <a href="https://opendatascience.slack.com/archives/C031KNXKPG8" rel="noopener noreferrer" target="_blank">#proj_data_fusion_22</a>, а добавленные фичи будут анонсироваться на митапах.</li>
</ul>

<h3>Призовой фонд задачи 1, Matching</h3>

1 место: 500 000 рублей 
2 место: 300 000 рублей 
3 место: 200 000 рублей 
4 и 5 место: 100 000 рублей 
с 6 по 10 место: 50 000 рублей

&nbsp;

<h3>FAQ</h3>

Q: Можете сказать, откуда собираются данные в clickstream.csv?

A: В файле clickstream.csv трафик интернет-провайдера со всех сайтов, категоризованный по тематикам (интересам). Например, просмотр видео на Ютубе про мебель категоризуется в тематику &quot;мебель&quot;. Аналогично с остальными сайтами: категоризуется не сам домен, а тематика конкретной страницы.

&nbsp;

&nbsp;

Q: В задаче Puzzle&nbsp;можно использовать модель или данные с главной задачи? А наоборот?

A: Да, вы можете использовать и модели и данные из разных задач на свое усмотрение.

&nbsp;

&nbsp;

Q: Я отправил сабмишн, получил статус &ldquo;Failed&rdquo;, но нет ссылки на текст ошибки. Что делать?

A: Скорее всего, в ваших предсказаниях представлены не все id, которые встречаются в списке id из файла transactions.csv в тесте. Это могло произойти, например, из-за фильтрации данных.

&nbsp;

&nbsp;

Q: Можно ли учитывать ограничение решение по времени (60 минут) только в части применения модели и не учитывать трансформацию данных?

A: Нет. Условия задачи подразумевают получить матч за 60 минут для входных потоков транзакций и кликстрима.

&nbsp;

&nbsp;

Q: Есть ли возможность посмотреть transactions.csv и clickstream.csv представленных в тесте? Эти ID присутствуют в данных для обучения?

A: Нет, эти данные недоступны участникам.

&nbsp;

&nbsp;

Q: Сколько данных в тесте?

A: В public и private содержится приблизительно по 3000 уникальных id. При этом public и private считаются раздельно, и следовательно ограничение по ресурсам и времени распространяется на раздельный подсчет public и private.

&nbsp;

Решите Matching задачу: по данным транзакций и кликстрима, требуется сперва построить обезличенные вектора. Затем для каждого клиента ВТБ нужно сопоставить вектора и отранжировать клиентов "Ростелекома" по вероятности их совпадения.

Public

Private

https://storage.yandexcloud.net/ds-ods/files/media/meta_tag/file/01a619df40f3/smm.jpg

description

Данные

Baselines

User Agreement Bank

<a data-remove-tab-index="true" data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5_%D0%BD%D0%B0_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D1%83_%D0%9F%D0%94%D0%BD_%D0%9F%D0%90%D0%9E_%D0%92%D0%A2%D0%91_Data_Fusion_%D0%9F%D0%B8_%D0%90%D1%80_%D0%9F%D0%B0%D1%80%D1%82%D0%BD%D0%B5%D1%80_1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5_%D0%BD%D0%B0_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D1%83_%D0%9F%D0%94%D0%BD_%D0%9F%D0%90%D0%9E_%D0%92%D0%A2%D0%91_Data_Fusion_%D0%9F%D0%B8_%D0%90%D1%80_%D0%9F%D0%B0%D1%80%D1%82%D0%BD%D0%B5%D1%80_1.pdf" rel="noopener noreferrer" tabindex="-1" target="_blank">даю согласие</a>&nbsp;Банку ВТБ (ПАО) на обработку моих персональных данных, ознакомлен с&nbsp;<a data-remove-tab-index="true" data-sk="tooltip_parent" data-stringify-link="https://www.vtb.ru/-/media/Files/aktsioneram-i-investoram/raskrytie-informatsii/ustav-i-vnutrennie-dokumenty/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf" delay="150" href="https://www.vtb.ru/-/media/Files/aktsioneram-i-investoram/raskrytie-informatsii/ustav-i-vnutrennie-dokumenty/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf" rel="noopener noreferrer" tabindex="-1" target="_blank">Положением об организации обработки персональных данных&nbsp;Банком ВТБ (ПАО)</a>&nbsp;

Consent Data Processing (Data Souls)

<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" rel="noopener noreferrer" target="_blank">даю согласие</a>&nbsp;DataSouls на обработку моих персональных данных

Privacy Policy and User agreement (Data Souls)

ознакомлен и принимаю&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" rel="noopener noreferrer" target="_blank">Пользовательское соглашение</a>&nbsp;и&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" rel="noopener noreferrer" target="_blank">Политику конфиденциальности</a>&nbsp;DataSouls

first_name

First name

last_name

Last name

country

Country (lat)

city

City (lat)

email

Email

phone_optional

Phone (Optional)

Occupation

Experience

Experience in DC

study_place2

Company/study place name

Registration application for Data Fusion 2022

Соревнование Data Fusion Contest 2022. Задача Matching

Container

Соревнование

Задача 1, Matching

Соревнование Data Fusion Contest 2022. Задача 2 Puzzle

Разминочная задача: решите Matching задачу в случае, когда все кандидаты в паре заранее известны, но сами пары не предоставлены. Простор для пост-обработки, схожей с составлением паззла.

Задача 2, Puzzle

Соревнование Data Fusion Contest 2022. Задача Education

Упражнение для тех, кто хочет научиться работать с индустриальными данными транзакций и кликстримов: создайте алгоритм, способный предсказывать наличие высшего образования у клиента.

Образовательная задача, Education

Соревнование Data Fusion Contest 2022. Номинация Companion

Награда за лучшие публичные решения, опубликованные до окончания соревнования. Номинация публичная, в ней участвуют публично открытые решения и материалы участников соревнований

Хакатон

Номинация 1, Companion

Соревнование Data Fusion Contest 2022. Номинация Insight

Награда за самые интересные, прорывные и нестандартные решения задач соревнования.

Номинация 2, Insight

FeaturedBanner-7d2cec6d

Обсуждение в ODS #slack

FeaturedBanner-6e4077fb

FAQ вопросы и ответы

FeaturedBanner-105f6a2f

Конференция Data Fusion

FeaturedBanner-915397cd

Премия Data Fusion Awards

<h2>Соревнование Data Fusion Contest возвращается!</h2>

Data Fusion и алгоритмы&nbsp;слияния данных&nbsp;становятся всё более востребованы в арсенале специалистов по анализу данных. Благодаря им появляется&nbsp;возможность решать задачи бизнеса, обеспечивая безопасность клиентских данных, не передавая их за пределы компании.

С помощью инструментов <a href="https://platforma.id/" rel="noopener noreferrer" target="_blank">Platforma</a>, а также&nbsp;технологии безопасного метчинга data exchange для задач был сформирован синтетический датасет на обезличенных данных от ВТБ и &ldquo;Ростелекома&rdquo; &mdash; партнёра соревнования. При этом данные генерировались таким образом, чтобы сохранить необходимую для решения задачи информацию о пользовательском поведении.

Участники смогут на практике освоить слияние данных транзакций ВТБ и кликстримов &ldquo;Ростелекома&rdquo;, чтобы научиться угадывать одних и тех же клиентов по их поведению в двух совершенно разных мирах.

<figure class="image image_resized" style="width:auto;"><img alt="" src="https://storage.yandexcloud.net/datasouls-ods/images/2022/02/01/82753d74-cba6-416f-807e-2025aab9aa74/vtb_pic.jpg" /></figure>

Data Fusion Contest 2022 &mdash; отличная возможность:

<ul>
<li>принять участие в большом онлайн-соревновании с крупными призовыми</li>
<li>прокачаться в DS/ML и новых методах</li>
<li>участвовать в митапах, воркшопах и гостевых лекциях</li>
<li>выиграть классный мерч от ВТБ, Platforma и сообщества ODS.AI.</li>
</ul>

Участвуйте на ваш выбор в одной или нескольких задачах и номинациях ниже.

Удачи!&nbsp;

<figure class="image image_resized" style="width:auto;"><img alt="" src="https://storage.yandexcloud.net/datasouls-ods/images/2022/02/01/5c3cc6c7-b7a9-4123-95af-50e1455a377f/arrow.png" /></figure>

Matching соревнование по машинному обучению: научитесь угадывать одних и тех же клиентов по их поведению на данных транзакций и кликстрима. 3 задачи, 2 номинации и 2 000 000 рублей!

Общий лидерборд

https://storage.yandexcloud.net/ds-ods/files/media/meta_tag/file/f49710f4a2ea/smm.jpg

Продление соревнования Data Fusion Contest 2022

Митап в эту субботу 26 марта!

Data Fusion Contest 2022

Anton Klenitskiy

Sberbank AI Lab

Андрей Кузнецов

Dmitry Kutsenko

Roman Barilov

Deja Vu

Vladimir Testov

AlphaBetaZeroGo

Anatoly Ilyenkov

Timur Redzhepov

Vlad Samarov

Fit_Predict

Ivan Alexandrov

The AI Gang vSOLO

peter

Victor Krasilnikov

Alexey Alexeev

Uckfo

Pavel

Mikhail Kostin

Timofey Zheleznyakov

baseline четыре константы

Yuriy Kim

Wanderer

just4fun

dim khor

Vlad Balanda

Alexander Anokhin

LTFM

Dmitry Tyan

Anton Karasev

Dmitry Fedotov

Islam Tlupov

Andrey Nikitin

CONS

Andrei Tarasov

Andrey Nikishaev

Crinjucci

Павел Киселев

Alexander Samokhin

Dima Kovalenko

Erik

Nikolai Vdovin

Alexander Kanonirov

Ivan Mochalov

Kirill Vlasov

Dmitry Kamsha

Sergey Rudnitsky

Среднее гармоничное между
MRR@100 и Precision@100
метриками

R1 (Harm. Mean)

Mean reciprocal rank, метрика 
ранжирования для первых 
100 кандидатов в пары

MRR @100

Precision, метрика точности 
для первых 100 кандидатов

Precision @100

#	Teams (86)	R1 (Harm. Mean)	MRR @100	Precision @100	Last	Entries
1	Anton Klenitskiy	0.3054727907	0.2142645541	0.5318864775	2y	52
2	Sberbank AI Lab	0.3053042515	0.2110156476	0.5519198664	2y	19
3	Андрей Кузнецов	0.2991339298	0.2097071414	0.5215358932	2y	93
4	Dmitry Kutsenko	0.289583058	0.2055540741	0.4898163606	2y	43
5	Roman Barilov	0.2862776821	0.2039975044	0.4797996661	2y	30
6	Deja Vu	0.2856012251	0.2035519761	0.4784641068	2y	58
7	Vladimir Testov	0.2827899499	0.2022758206	0.4697829716	2y	16
8	AlphaBetaZeroGo	0.282165223	0.2016371642	0.4697829716	2y	57
9	Anatoly Ilyenkov	0.2817896227	0.2007072743	0.47278798	2y	52
10	Timur Redzhepov	0.2811519061	0.2024875998	0.4597662771	2y	53
11	Vlad Samarov	0.2782520097	0.2004507432	0.4547579299	2y	63
12	Fit_Predict	0.2780816261	0.199760229	0.4574290484	2y	263
13	Ivan Alexandrov	0.2767019842	0.1986549554	0.4557595993	2y	142
14	abc	0.2759590044	0.1994397575	0.4477462437	2y	22
15	The AI Gang vSOLO	0.2744787558	0.1977669534	0.4484140234	2y	79
16	peter	0.2708915261	0.1961356035	0.4377295492	2y	18
17	Victor Krasilnikov	0.2673977116	0.1942901597	0.4287145242	2y	6
18	Alexey Alexeev	0.2673977116	0.1942901597	0.4287145242	2y	15
19	Uckfo	0.2673977116	0.1942901597	0.4287145242	2y	2
20	Pavel	0.2673977116	0.1942901597	0.4287145242	2y	1
21	Mikhail Kostin	0.2673977116	0.1942901597	0.4287145242	2y	1
22	Timofey Zheleznyakov	0.2672048614	0.1937463647	0.4303839733	2y	26
23	baseline четыре константы	0.2652661058	0.1920475331	0.4287145242	2y	16
24	Yuriy Kim	0.2621703198	0.1894741365	0.425375626	2y	4
25	Wanderer	0.257293455	0.1897123986	0.3996661102	2y	80
26	just4fun	0.2568661858	0.1907832492	0.3929883139	2y	25
27	dim khor	0.2563341019	0.1883749272	0.4010016694	2y	16
28	Vlad Balanda	0.2557321884	0.1906415924	0.3883138564	2y	125
29	Alexander Anokhin	0.2536914629	0.1867751522	0.3953255426	2y	9
30	LTFM	0.253078191	0.1901404049	0.3782971619	2y	36
31	Dmitry Tyan	0.2530165314	0.1907523411	0.3756260434	2y	17
32	Anton Karasev	0.2478134257	0.1770711114	0.412687813	2y	5
33	Dmitry Fedotov	0.245447925	0.1859501589	0.3609348915	2y	16
34	Islam Tlupov	0.2439444309	0.1821284003	0.3692821369	2y	18
35	Andrey Nikitin	0.2433990469	0.1773903148	0.3876460768	2y	20
36	CONS	0.2424587947	0.178473759	0.3779632721	2y	16
37	Andrei Tarasov	0.2413873744	0.1852778714	0.3462437396	2y	4
38	Andrey Nikishaev	0.2373761169	0.1801422943	0.3479131886	2y	30
39	Crinjucci	0.2357584542	0.1784614457	0.347245409	2y	15
40	Павел Киселев	0.2354784106	0.178762153	0.3449081803	2y	2
41	Alexander Samokhin	0.2350232462	0.1620278279	0.4277128548	2y	2
42	Dima Kovalenko	0.234610467	0.179216841	0.3395659432	2y	3
43	Erik	0.23321153	0.1781422374	0.3375626043	2y	1
44	Nikolai Vdovin	0.2324351373	0.1788437642	0.3318864775	2y	3
45	Alexander Kanonirov	0.2323557938	0.1781740602	0.3338898164	2y	1
46	Ivan Mochalov	0.2321485006	0.1786013319	0.3315525876	2y	1
OOC	Kirill Vlasov	0.2318379691	0.1788183637	0.3295492487	2y	30
47	Dmitry Kamsha	0.2317226563	0.1784854961	0.3302170284	2y	29
48	lh	0.2286706228	0.1772239749	0.3222036728	2y	9
49	Sergey Rudnitsky	0.2244165554	0.1793140074	0.2998330551	2y	1