<h2>Задача 2. Puzzle &mdash; разминочная задача соревнования</h2>

Необходимо решить упрощенную Matching задачу соотнесения клиентов в формате классического табличного соревнования. А именно, используя общие для всех задач Data Fusion Contest 2022 данные транзакций и кликстримов,&nbsp;необходимо построить алгоритм, решающий задачу в ситуации, когда все кандидаты в паре заранее известны, но сами пары не предоставлены.&nbsp;

<h3>Правила участия</h3>

Нажимая кнопку &laquo;Участвовать&raquo; и/или &laquo;Отправить решение&raquo;, вы соглашаетесь с <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/DataFusion2022/Rules_Data_Fusion_2022.pdf" rel="noopener noreferrer" target="_blank">Правилами участия в соревновании Data Fusion Contest 2022</a>.

<h3>Данные</h3>

Для решения Matching задачи во вкладке данные участникам&nbsp;доступны несколько наборов данных:&nbsp;

<ol>
<li>Общие данные для всех задач в табличном <code>.csv</code> формате:&nbsp;<code>transactions.zip</code>,&nbsp;<code>clicstream.zip</code> и целевая переменная <code>train_matching.csv</code></li>
<li>Общие сопроводительные данные для всех задач в табличном <code>.csv</code> формате:&nbsp;<code>mcc_codes.csv</code>,&nbsp;<code>click_categories.csv</code> и&nbsp;<code>currency_rk.csv</code></li>
<li>Отдельный файл с кандидатами в пары&nbsp;<code>puzzle.csv.</code>&nbsp;Все клиенты из этого файла присутствуют в данных выше, но для них неизвестны истиные пары. Однако, известно, что для&nbsp;всех клиентов в этом файле точно имеется пара.</li>
</ol>

Ссылки на скачивание данных доступны во вкладке Данные для присоединившихся к соревнованию участников.

<h3>Проверка решений</h3>

<ul>
<li>Решения проверяются автоматически путем сопоставления с известными истиными соответствиями между клиентами.</li>
<li>Метрика соревнования&nbsp;&mdash; <code>R1</code>, среднее гармоническое между <code>Precision@100</code> и <code>MRR@100</code>. В лидерборде также отражаются составляющие для <code>R1</code> метрики, но именно <code>R1</code> является основной метрикой соревнования.</li>
<li>Соотношение public/private в соревновании составляет 40/60. Победители соревнования определяются по результатам на private лидерборде.</li>
<li>Это соревнование тесно связано с задачей 1 Matching. Вы можете проверять свои гипотезы на этой задаче, но помните, что сложная пост-обработка со складыванием паззла может оказаться невычислимой в рамках ограничений задачи 1.</li>
</ul>

<h3>Информация&nbsp;для участников</h3>

<ul>
<li>В соревновании могут принимать участие граждане со всего мира. Участники могут объединяться в команды до 4 человек. Участвовать можно в любом количестве из предложенных задач и номинаций.</li>
<li>Ответы на часто задаваемые вопросы по задаче Matching можно найти на странице FAQ. Ответы на вопросы по всему Data Fusion Contest 2022 доступны&nbsp;на FAQ странице трека.</li>
<li>Официальный канал общения и обсуждения между участниками всех задач &mdash; канал #proj_data_fusion_22 в ODS #slack. Важные анонсы,&nbsp;объявления, и ответы на вопросы будут сперва появляться в канале ODS, после чего добавляться в FAQ и новости соревнования на ods.ai.</li>
</ul>

<h3>Дополнительные активности</h3>

<ul>
<li>Участвуйте в специальных номинациях, каждая из которых имеет свой призовой фонд! Делитесь вашими решениями с другими участниками соревнования в канале #proj_data_fusion_22 в рамках номинации Companion, либо отправляйте ваши нестандартные решения в номинацию Insight.</li>
<li>Следите за новостями Data Fusion Contest 2022 &mdash; вас ждут митапы и воркшопы с разборами решений задач, а также регулярные розыгрыши мерча ODS!</li>
<li>Уникальный механизм добавления предрасчитанных фичей! Вы можете создать публичное решение с генерацией фичей, которые мы добавим отдельной папкой с фичами, доступными внутри контейнера. Голосования за добавление фичей будут проходить в канале #proj_data_fusion_22, а добавленные фичи будут анонсироваться на митапах.</li>
</ul>

<h3>Призовой фонд задачи 2, Puzzle</h3>

1 место: 150 000 рублей 
2 место: 100 000 рублей 
3 место: 50 000 рублей

&nbsp;

<h3>FAQ</h3>

Q:&nbsp;Можете сказать, откуда собираются данные в clickstream.csv?

A:&nbsp;В файле clickstream.csv трафик интернет-провайдера со всех сайтов, категоризованный по тематикам (интересам). Например, просмотр видео на Ютубе про мебель категоризуется в тематику &quot;мебель&quot;. Аналогично с остальными сайтами: категоризуется не сам домен, а тематика конкретной страницы.

&nbsp;

Q:&nbsp;В задаче Puzzle&nbsp;можно использовать модель или данные с главной задачи? А наоборот?

A:&nbsp;Да, вы можете использовать и модели и данные из разных задач на свое усмотрение.

&nbsp;

Q:&nbsp;Я отправил сабмишн, получил статус &ldquo;Failed&rdquo;, но нет ссылки на текст ошибки. Что делать?

A:&nbsp;Скорее всего, в ваших предсказаниях представлены не все id, которые встречаются в списке id из файла transactions.csv в тесте. Это могло произойти, например, из-за фильтрации данных.

&nbsp;

Q:&nbsp;Можно ли учитывать ограничение решение по времени (60 минут) только в части применения модели и не учитывать трансформацию данных?

A:&nbsp;Нет. Условия задачи подразумевают получить матч за 60 минут для входных потоков транзакций и кликстрима.

&nbsp;

Q:&nbsp;Есть ли возможность посмотреть transactions.csv и clickstream.csv представленных в тесте? Эти ID присутствуют в данных для обучения?

A:&nbsp;Нет, эти данные недоступны участникам.

&nbsp;

Q:&nbsp;Сколько данных в тесте?

A:&nbsp;В public и private содержится приблизительно по 3000 уникальных id. При этом public и private считаются раздельно, и следовательно ограничение по ресурсам и времени распространяется на раздельный подсчет public и private.

Разминочная задача: решите Matching задачу в случае, когда все кандидаты в паре заранее известны, но сами пары не предоставлены. Простор для пост-обработки, схожей с составлением паззла.

Public

Private

https://storage.yandexcloud.net/ds-ods/files/media/meta_tag/file/4cc7551d98db/smm.jpg

description

Данные

User Agreement Bank

<a data-remove-tab-index="true" data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5_%D0%BD%D0%B0_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D1%83_%D0%9F%D0%94%D0%BD_%D0%9F%D0%90%D0%9E_%D0%92%D0%A2%D0%91_Data_Fusion_%D0%9F%D0%B8_%D0%90%D1%80_%D0%9F%D0%B0%D1%80%D1%82%D0%BD%D0%B5%D1%80_1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5_%D0%BD%D0%B0_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D1%83_%D0%9F%D0%94%D0%BD_%D0%9F%D0%90%D0%9E_%D0%92%D0%A2%D0%91_Data_Fusion_%D0%9F%D0%B8_%D0%90%D1%80_%D0%9F%D0%B0%D1%80%D1%82%D0%BD%D0%B5%D1%80_1.pdf" rel="noopener noreferrer" tabindex="-1" target="_blank">даю согласие</a>&nbsp;Банку ВТБ (ПАО) на обработку моих персональных данных, ознакомлен с&nbsp;<a data-remove-tab-index="true" data-sk="tooltip_parent" data-stringify-link="https://www.vtb.ru/-/media/Files/aktsioneram-i-investoram/raskrytie-informatsii/ustav-i-vnutrennie-dokumenty/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf" delay="150" href="https://www.vtb.ru/-/media/Files/aktsioneram-i-investoram/raskrytie-informatsii/ustav-i-vnutrennie-dokumenty/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf" rel="noopener noreferrer" tabindex="-1" target="_blank">Положением об организации обработки персональных данных&nbsp;Банком ВТБ (ПАО)</a>&nbsp;

Consent Data Processing (Data Souls)

<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" rel="noopener noreferrer" target="_blank">даю согласие</a>&nbsp;DataSouls на обработку моих персональных данных

Privacy Policy and User agreement (Data Souls)

ознакомлен и принимаю&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" rel="noopener noreferrer" target="_blank">Пользовательское соглашение</a>&nbsp;и&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" rel="noopener noreferrer" target="_blank">Политику конфиденциальности</a>&nbsp;DataSouls

first_name

First name

last_name

Last name

country

Country (lat)

city

City (lat)

email

Email

phone_optional

Phone (Optional)

Occupation

Experience

Experience in DC

study_place2

Company/study place name

Registration application for Data Fusion 2022

Соревнование Data Fusion Contest 2022. Задача 2 Puzzle

Predictions

Timur Redzhepov

Anton Klenitskiy

Андрей Кузнецов

Vladimir Testov

Roman Barilov

Stepan Andreev

Anatoly Ilyenkov

Fit_Predict

Ivan Alexandrov

Andrey Nikitin

Vlad Samarov

peter

Deja Vu

DED DATASAINA

Dmitry Kutsenko

Wanderer

Alexey Alexeev

Timofey Zheleznyakov

Alex Shteynman

Ilia Kuleshov

Vlad B

Yuriy Kim

Anna Yurishcheva

Vyacheslav Krasin

Pavel

Nikita Mishin

Mikhail Kostin

Artemii Zhizhko

Victor Krasilnikov

Nikita Nikonov

Uckfo

Danil Galkin

Andrei Ratushin

dim khor

Artemii

Mad Gnome

Vlad Balanda

Alexander Samokhin

OzherelieVV

outlier

lyghter

Alexander Gribanov

e3cd646c9f1b

Islam Tlupov

Kostya Tikhonov

ML heros

Aleksei Naumovskii

PLIN

Среднее гармоничное между
MRR@100 и Precision@100
метриками

R1 (Mean Harm.)

Mean reciprocal rank, метрика 
ранжирования для первых 
100 кандидатов в пары

MRR @100

Precision, метрика точности 
для первых 100 кандидатов

Precision @100

#	Teams (64)	R1 (Mean Harm.)	MRR @100	Precision @100	Last	Entries
1	Timur Redzhepov	0.0931254786	0.0564846236	0.2650785606	23m	84
2	Anton Klenitskiy	0.0831044892	0.0475813687	0.3279270147	23m	67
3	Андрей Кузнецов	0.0777994998	0.044325503	0.3177901673	23m	88
4	Vladimir Testov	0.0708352412	0.041079546	0.2569690826	23m	40
5	Roman Barilov	0.0602393216	0.0339641496	0.2660922453	23m	35
6	Stepan Andreev	0.0587922883	0.0331350251	0.2605169792	23m	4
7	Anatoly Ilyenkov	0.0569613362	0.0319995094	0.2589964521	23m	126
8	Fit_Predict	0.0558016421	0.0318193993	0.2265585403	23m	132
9	Ivan Alexandrov	0.0554065531	0.0312632902	0.2432843386	23m	48
10	Andrey Nikitin	0.0552136765	0.0313056821	0.2336543335	23m	40
11	Vlad Samarov	0.0546436384	0.0308614242	0.2382159149	23m	55
12	peter	0.0544169576	0.0309505961	0.2250380132	23m	5
13	Deja Vu	0.0534481553	0.029825888	0.2569690826	23m	6
14	DED DATASAINA	0.0518064453	0.0285890747	0.2757222504	23m	7
15	Dmitry Kutsenko	0.0511696853	0.0285639239	0.2453117081	23m	36
16	abc	0.0492058862	0.027450106	0.2372022301	23m	27
17	Wanderer	0.0481684649	0.0266360397	0.2513938165	23m	2
18	Alexey Alexeev	0.0481285287	0.026794215	0.2361885454	23m	18
19	Timofey Zheleznyakov	0.0449390226	0.0251714737	0.2093258996	23m	16
20	Alex Shteynman	0.0425695056	0.0235027126	0.2255448555	23m	1
21	Ilia Kuleshov	0.0420498732	0.0233852035	0.2083122149	23m	3
22	Vlad B	0.0411752544	0.0228333317	0.2093258996	23m	13
23	Yuriy Kim	0.0409212203	0.0225483371	0.2209832742	23m	17
24	Anna Yurishcheva	0.0408222726	0.0227614727	0.1976685251	23m	3
25	Vyacheslav Krasin	0.0406491041	0.0225891318	0.2027369488	23m	2
26	Pavel	0.040574468	0.0226827953	0.192093259	23m	1
27	Nikita Mishin	0.0402916698	0.0226153666	0.1844906234	23m	96
28	Mikhail Kostin	0.0385856766	0.021272638	0.2072985302	23m	9
29	Artemii Zhizhko	0.0384616829	0.0211815179	0.2088190573	23m	1
30	Victor Krasilnikov	0.0377421481	0.0207610185	0.2072985302	2y	8
31	Nikita Nikonov	0.0377421481	0.0207610185	0.2072985302	23m	7
32	Uckfo	0.0377421481	0.0207610185	0.2072985302	23m	3
33	Danil Galkin	0.0377421481	0.0207610185	0.2072985302	23m	1
34	Andrei Ratushin	0.0354205295	0.0197455311	0.1718195641	23m	44
35	dim khor	0.0351061843	0.0194100347	0.1834769387	23m	4
36	lh	0.0267924287	0.0146404518	0.1576279777	23m	7
37	Artemii	0.0253848929	0.0138237435	0.1550937658	2y	12
38	Mad Gnome	0.0248597674	0.0134511807	0.1637100862	23m	1
39	Vlad Balanda	0.0240550648	0.0132510828	0.1302584896	23m	182
40	Alexander Samokhin	0.0226833638	0.0122001892	0.1611758743	23m	14
41	OzherelieVV	0.0213660899	0.0116099809	0.1338063862	23m	5
42	outlier	0.0210885684	0.0115450407	0.1216421693	2y	7
43	lyghter	0.0192635066	0.0106265357	0.1028890015	23m	52
44	Alexander Gribanov	0.0146836051	0.0080345624	0.0851495185	23m	6
45	e3cd646c9f1b	0.0141627878	0.0073648617	0.183983781	2y	3
46	Islam Tlupov	0.0077825354	0.0041296534	0.0674100355	23m	11
47	Kostya Tikhonov	0.0069762767	0.0035872872	0.1262037506	23m	5
48	ML heros	0.0057855655	0.0033239488	0.0223010644	2y	4
49	Aleksei Naumovskii	0.0048114822	0.002549822	0.0425747592	2y	25
50	PLIN	0.0034847259	0.0018657032	0.0263558033	2y	2