<h2>Задача 2. Puzzle &mdash; разминочная задача соревнования</h2>

Необходимо решить упрощенную Matching задачу соотнесения клиентов в формате классического табличного соревнования. А именно, используя общие для всех задач Data Fusion Contest 2022 данные транзакций и кликстримов,&nbsp;необходимо построить алгоритм, решающий задачу в ситуации, когда все кандидаты в паре заранее известны, но сами пары не предоставлены.&nbsp;

<h3>Правила участия</h3>

Нажимая кнопку &laquo;Участвовать&raquo; и/или &laquo;Отправить решение&raquo;, вы соглашаетесь с <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/DataFusion2022/Rules_Data_Fusion_2022.pdf" rel="noopener noreferrer" target="_blank">Правилами участия в соревновании Data Fusion Contest 2022</a>.

<h3>Данные</h3>

Для решения Matching задачи во вкладке данные участникам&nbsp;доступны несколько наборов данных:&nbsp;

<ol>
<li>Общие данные для всех задач в табличном <code>.csv</code> формате:&nbsp;<code>transactions.zip</code>,&nbsp;<code>clicstream.zip</code> и целевая переменная <code>train_matching.csv</code></li>
<li>Общие сопроводительные данные для всех задач в табличном <code>.csv</code> формате:&nbsp;<code>mcc_codes.csv</code>,&nbsp;<code>click_categories.csv</code> и&nbsp;<code>currency_rk.csv</code></li>
<li>Отдельный файл с кандидатами в пары&nbsp;<code>puzzle.csv.</code>&nbsp;Все клиенты из этого файла присутствуют в данных выше, но для них неизвестны истиные пары. Однако, известно, что для&nbsp;всех клиентов в этом файле точно имеется пара.</li>
</ol>

Ссылки на скачивание данных доступны во вкладке Данные для присоединившихся к соревнованию участников.

<h3>Проверка решений</h3>

<ul>
<li>Решения проверяются автоматически путем сопоставления с известными истиными соответствиями между клиентами.</li>
<li>Метрика соревнования&nbsp;&mdash; <code>R1</code>, среднее гармоническое между <code>Precision@100</code> и <code>MRR@100</code>. В лидерборде также отражаются составляющие для <code>R1</code> метрики, но именно <code>R1</code> является основной метрикой соревнования.</li>
<li>Соотношение public/private в соревновании составляет 40/60. Победители соревнования определяются по результатам на private лидерборде.</li>
<li>Это соревнование тесно связано с задачей 1 Matching. Вы можете проверять свои гипотезы на этой задаче, но помните, что сложная пост-обработка со складыванием паззла может оказаться невычислимой в рамках ограничений задачи 1.</li>
</ul>

<h3>Информация&nbsp;для участников</h3>

<ul>
<li>В соревновании могут принимать участие граждане со всего мира. Участники могут объединяться в команды до 4 человек. Участвовать можно в любом количестве из предложенных задач и номинаций.</li>
<li>Ответы на часто задаваемые вопросы по задаче Matching можно найти на странице FAQ. Ответы на вопросы по всему Data Fusion Contest 2022 доступны&nbsp;на FAQ странице трека.</li>
<li>Официальный канал общения и обсуждения между участниками всех задач &mdash; канал #proj_data_fusion_22 в ODS #slack. Важные анонсы,&nbsp;объявления, и ответы на вопросы будут сперва появляться в канале ODS, после чего добавляться в FAQ и новости соревнования на ods.ai.</li>
</ul>

<h3>Дополнительные активности</h3>

<ul>
<li>Участвуйте в специальных номинациях, каждая из которых имеет свой призовой фонд! Делитесь вашими решениями с другими участниками соревнования в канале #proj_data_fusion_22 в рамках номинации Companion, либо отправляйте ваши нестандартные решения в номинацию Insight.</li>
<li>Следите за новостями Data Fusion Contest 2022 &mdash; вас ждут митапы и воркшопы с разборами решений задач, а также регулярные розыгрыши мерча ODS!</li>
<li>Уникальный механизм добавления предрасчитанных фичей! Вы можете создать публичное решение с генерацией фичей, которые мы добавим отдельной папкой с фичами, доступными внутри контейнера. Голосования за добавление фичей будут проходить в канале #proj_data_fusion_22, а добавленные фичи будут анонсироваться на митапах.</li>
</ul>

<h3>Призовой фонд задачи 2, Puzzle</h3>

1 место: 150 000 рублей 
2 место: 100 000 рублей 
3 место: 50 000 рублей

&nbsp;

<h3>FAQ</h3>

Q:&nbsp;Можете сказать, откуда собираются данные в clickstream.csv?

A:&nbsp;В файле clickstream.csv трафик интернет-провайдера со всех сайтов, категоризованный по тематикам (интересам). Например, просмотр видео на Ютубе про мебель категоризуется в тематику &quot;мебель&quot;. Аналогично с остальными сайтами: категоризуется не сам домен, а тематика конкретной страницы.

&nbsp;

Q:&nbsp;В задаче Puzzle&nbsp;можно использовать модель или данные с главной задачи? А наоборот?

A:&nbsp;Да, вы можете использовать и модели и данные из разных задач на свое усмотрение.

&nbsp;

Q:&nbsp;Я отправил сабмишн, получил статус &ldquo;Failed&rdquo;, но нет ссылки на текст ошибки. Что делать?

A:&nbsp;Скорее всего, в ваших предсказаниях представлены не все id, которые встречаются в списке id из файла transactions.csv в тесте. Это могло произойти, например, из-за фильтрации данных.

&nbsp;

Q:&nbsp;Можно ли учитывать ограничение решение по времени (60 минут) только в части применения модели и не учитывать трансформацию данных?

A:&nbsp;Нет. Условия задачи подразумевают получить матч за 60 минут для входных потоков транзакций и кликстрима.

&nbsp;

Q:&nbsp;Есть ли возможность посмотреть transactions.csv и clickstream.csv представленных в тесте? Эти ID присутствуют в данных для обучения?

A:&nbsp;Нет, эти данные недоступны участникам.

&nbsp;

Q:&nbsp;Сколько данных в тесте?

A:&nbsp;В public и private содержится приблизительно по 3000 уникальных id. При этом public и private считаются раздельно, и следовательно ограничение по ресурсам и времени распространяется на раздельный подсчет public и private.

Разминочная задача: решите Matching задачу в случае, когда все кандидаты в паре заранее известны, но сами пары не предоставлены. Простор для пост-обработки, схожей с составлением паззла.

Public

Private

https://storage.yandexcloud.net/ds-ods/files/media/meta_tag/file/4cc7551d98db/smm.jpg

description

Данные

User Agreement Bank

<a data-remove-tab-index="true" data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5_%D0%BD%D0%B0_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D1%83_%D0%9F%D0%94%D0%BD_%D0%9F%D0%90%D0%9E_%D0%92%D0%A2%D0%91_Data_Fusion_%D0%9F%D0%B8_%D0%90%D1%80_%D0%9F%D0%B0%D1%80%D1%82%D0%BD%D0%B5%D1%80_1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5_%D0%BD%D0%B0_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D1%83_%D0%9F%D0%94%D0%BD_%D0%9F%D0%90%D0%9E_%D0%92%D0%A2%D0%91_Data_Fusion_%D0%9F%D0%B8_%D0%90%D1%80_%D0%9F%D0%B0%D1%80%D1%82%D0%BD%D0%B5%D1%80_1.pdf" rel="noopener noreferrer" tabindex="-1" target="_blank">даю согласие</a>&nbsp;Банку ВТБ (ПАО) на обработку моих персональных данных, ознакомлен с&nbsp;<a data-remove-tab-index="true" data-sk="tooltip_parent" data-stringify-link="https://www.vtb.ru/-/media/Files/aktsioneram-i-investoram/raskrytie-informatsii/ustav-i-vnutrennie-dokumenty/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf" delay="150" href="https://www.vtb.ru/-/media/Files/aktsioneram-i-investoram/raskrytie-informatsii/ustav-i-vnutrennie-dokumenty/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf" rel="noopener noreferrer" tabindex="-1" target="_blank">Положением об организации обработки персональных данных&nbsp;Банком ВТБ (ПАО)</a>&nbsp;

Consent Data Processing (Data Souls)

<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" rel="noopener noreferrer" target="_blank">даю согласие</a>&nbsp;DataSouls на обработку моих персональных данных

Privacy Policy and User agreement (Data Souls)

ознакомлен и принимаю&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" rel="noopener noreferrer" target="_blank">Пользовательское соглашение</a>&nbsp;и&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" rel="noopener noreferrer" target="_blank">Политику конфиденциальности</a>&nbsp;DataSouls

first_name

First name

last_name

Last name

country

Country (lat)

city

City (lat)

email

Email

phone_optional

Phone (Optional)

Occupation

Experience

Experience in DC

study_place2

Company/study place name

Registration application for Data Fusion 2022

Соревнование Data Fusion Contest 2022. Задача 2 Puzzle

Predictions

Timur Redzhepov

Anton Klenitskiy

Андрей Кузнецов

Vladimir Testov

Roman Barilov

Stepan Andreev

Anatoly Ilyenkov

Fit_Predict

Ivan Alexandrov

Andrey Nikitin

Vlad Samarov

peter

Deja Vu

DED DATASAINA

Dmitry Kutsenko

Wanderer

Alexey Alexeev

Timofey Zheleznyakov

Alex Shteynman

Ilia Kuleshov

Vlad B

Yuriy Kim

Anna Yurishcheva

Vyacheslav Krasin

Pavel

Nikita Mishin

Mikhail Kostin

Artemii Zhizhko

Victor Krasilnikov

Nikita Nikonov

Uckfo

Danil Galkin

Andrei Ratushin

dim khor

Artemii

Mad Gnome

Vlad Balanda

Alexander Samokhin

OzherelieVV

outlier

lyghter

Alexander Gribanov

e3cd646c9f1b

Islam Tlupov

Kostya Tikhonov

ML heros

Aleksei Naumovskii

PLIN

Среднее гармоничное между
MRR@100 и Precision@100
метриками

R1 (Mean Harm.)

Mean reciprocal rank, метрика 
ранжирования для первых 
100 кандидатов в пары

MRR @100

Precision, метрика точности 
для первых 100 кандидатов

Precision @100

#	Teams (64)	R1 (Mean Harm.)	MRR @100	Precision @100	Last	Entries
1	Timur Redzhepov	0.0931254786	0.0564846236	0.2650785606	2y	84
2	Anton Klenitskiy	0.0831044892	0.0475813687	0.3279270147	2y	67
3	Андрей Кузнецов	0.0777994998	0.044325503	0.3177901673	2y	88
4	Vladimir Testov	0.0708352412	0.041079546	0.2569690826	2y	40
5	Roman Barilov	0.0602393216	0.0339641496	0.2660922453	2y	35
6	Stepan Andreev	0.0587922883	0.0331350251	0.2605169792	2y	4
7	Anatoly Ilyenkov	0.0569613362	0.0319995094	0.2589964521	2y	126
8	Fit_Predict	0.0558016421	0.0318193993	0.2265585403	2y	132
9	Ivan Alexandrov	0.0554065531	0.0312632902	0.2432843386	2y	48
10	Andrey Nikitin	0.0552136765	0.0313056821	0.2336543335	2y	40
11	Vlad Samarov	0.0546436384	0.0308614242	0.2382159149	2y	55
12	peter	0.0544169576	0.0309505961	0.2250380132	2y	5
13	Deja Vu	0.0534481553	0.029825888	0.2569690826	2y	6
14	DED DATASAINA	0.0518064453	0.0285890747	0.2757222504	2y	7
15	Dmitry Kutsenko	0.0511696853	0.0285639239	0.2453117081	2y	36
16	abc	0.0492058862	0.027450106	0.2372022301	2y	27
17	Wanderer	0.0481684649	0.0266360397	0.2513938165	2y	2
18	Alexey Alexeev	0.0481285287	0.026794215	0.2361885454	2y	18
19	Timofey Zheleznyakov	0.0449390226	0.0251714737	0.2093258996	2y	16
20	Alex Shteynman	0.0425695056	0.0235027126	0.2255448555	2y	1
21	Ilia Kuleshov	0.0420498732	0.0233852035	0.2083122149	2y	3
22	Vlad B	0.0411752544	0.0228333317	0.2093258996	2y	13
23	Yuriy Kim	0.0409212203	0.0225483371	0.2209832742	2y	17
24	Anna Yurishcheva	0.0408222726	0.0227614727	0.1976685251	2y	3
25	Vyacheslav Krasin	0.0406491041	0.0225891318	0.2027369488	2y	2
26	Pavel	0.040574468	0.0226827953	0.192093259	2y	1
27	Nikita Mishin	0.0402916698	0.0226153666	0.1844906234	2y	96
28	Mikhail Kostin	0.0385856766	0.021272638	0.2072985302	2y	9
29	Artemii Zhizhko	0.0384616829	0.0211815179	0.2088190573	2y	1
30	Victor Krasilnikov	0.0377421481	0.0207610185	0.2072985302	2y	8
31	Nikita Nikonov	0.0377421481	0.0207610185	0.2072985302	2y	7
32	Uckfo	0.0377421481	0.0207610185	0.2072985302	2y	3
33	Danil Galkin	0.0377421481	0.0207610185	0.2072985302	2y	1
34	Andrei Ratushin	0.0354205295	0.0197455311	0.1718195641	2y	44
35	dim khor	0.0351061843	0.0194100347	0.1834769387	2y	4
36	lh	0.0267924287	0.0146404518	0.1576279777	2y	7
37	Artemii	0.0253848929	0.0138237435	0.1550937658	2y	12
38	Mad Gnome	0.0248597674	0.0134511807	0.1637100862	2y	1
39	Vlad Balanda	0.0240550648	0.0132510828	0.1302584896	2y	182
40	Alexander Samokhin	0.0226833638	0.0122001892	0.1611758743	2y	14
41	OzherelieVV	0.0213660899	0.0116099809	0.1338063862	2y	5
42	outlier	0.0210885684	0.0115450407	0.1216421693	2y	7
43	lyghter	0.0192635066	0.0106265357	0.1028890015	2y	52
44	Alexander Gribanov	0.0146836051	0.0080345624	0.0851495185	2y	6
45	e3cd646c9f1b	0.0141627878	0.0073648617	0.183983781	2y	3
46	Islam Tlupov	0.0077825354	0.0041296534	0.0674100355	2y	11
47	Kostya Tikhonov	0.0069762767	0.0035872872	0.1262037506	2y	5
48	ML heros	0.0057855655	0.0033239488	0.0223010644	2y	4
49	Aleksei Naumovskii	0.0048114822	0.002549822	0.0425747592	2y	25
50	PLIN	0.0034847259	0.0018657032	0.0263558033	2y	2