<h2>Задача 2. Puzzle &mdash; разминочная задача соревнования</h2>

Необходимо решить упрощенную Matching задачу соотнесения клиентов в формате классического табличного соревнования. А именно, используя общие для всех задач Data Fusion Contest 2022 данные транзакций и кликстримов,&nbsp;необходимо построить алгоритм, решающий задачу в ситуации, когда все кандидаты в паре заранее известны, но сами пары не предоставлены.&nbsp;

<h3>Правила участия</h3>

Нажимая кнопку &laquo;Участвовать&raquo; и/или &laquo;Отправить решение&raquo;, вы соглашаетесь с <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/DataFusion2022/Rules_Data_Fusion_2022.pdf" rel="noopener noreferrer" target="_blank">Правилами участия в соревновании Data Fusion Contest 2022</a>.

<h3>Данные</h3>

Для решения Matching задачи во вкладке данные участникам&nbsp;доступны несколько наборов данных:&nbsp;

<ol>
<li>Общие данные для всех задач в табличном <code>.csv</code> формате:&nbsp;<code>transactions.zip</code>,&nbsp;<code>clicstream.zip</code> и целевая переменная <code>train_matching.csv</code></li>
<li>Общие сопроводительные данные для всех задач в табличном <code>.csv</code> формате:&nbsp;<code>mcc_codes.csv</code>,&nbsp;<code>click_categories.csv</code> и&nbsp;<code>currency_rk.csv</code></li>
<li>Отдельный файл с кандидатами в пары&nbsp;<code>puzzle.csv.</code>&nbsp;Все клиенты из этого файла присутствуют в данных выше, но для них неизвестны истиные пары. Однако, известно, что для&nbsp;всех клиентов в этом файле точно имеется пара.</li>
</ol>

Ссылки на скачивание данных доступны во вкладке Данные для присоединившихся к соревнованию участников.

<h3>Проверка решений</h3>

<ul>
<li>Решения проверяются автоматически путем сопоставления с известными истиными соответствиями между клиентами.</li>
<li>Метрика соревнования&nbsp;&mdash; <code>R1</code>, среднее гармоническое между <code>Precision@100</code> и <code>MRR@100</code>. В лидерборде также отражаются составляющие для <code>R1</code> метрики, но именно <code>R1</code> является основной метрикой соревнования.</li>
<li>Соотношение public/private в соревновании составляет 40/60. Победители соревнования определяются по результатам на private лидерборде.</li>
<li>Это соревнование тесно связано с задачей 1 Matching. Вы можете проверять свои гипотезы на этой задаче, но помните, что сложная пост-обработка со складыванием паззла может оказаться невычислимой в рамках ограничений задачи 1.</li>
</ul>

<h3>Информация&nbsp;для участников</h3>

<ul>
<li>В соревновании могут принимать участие граждане со всего мира. Участники могут объединяться в команды до 4 человек. Участвовать можно в любом количестве из предложенных задач и номинаций.</li>
<li>Ответы на часто задаваемые вопросы по задаче Matching можно найти на странице FAQ. Ответы на вопросы по всему Data Fusion Contest 2022 доступны&nbsp;на FAQ странице трека.</li>
<li>Официальный канал общения и обсуждения между участниками всех задач &mdash; канал #proj_data_fusion_22 в ODS #slack. Важные анонсы,&nbsp;объявления, и ответы на вопросы будут сперва появляться в канале ODS, после чего добавляться в FAQ и новости соревнования на ods.ai.</li>
</ul>

<h3>Дополнительные активности</h3>

<ul>
<li>Участвуйте в специальных номинациях, каждая из которых имеет свой призовой фонд! Делитесь вашими решениями с другими участниками соревнования в канале #proj_data_fusion_22 в рамках номинации Companion, либо отправляйте ваши нестандартные решения в номинацию Insight.</li>
<li>Следите за новостями Data Fusion Contest 2022 &mdash; вас ждут митапы и воркшопы с разборами решений задач, а также регулярные розыгрыши мерча ODS!</li>
<li>Уникальный механизм добавления предрасчитанных фичей! Вы можете создать публичное решение с генерацией фичей, которые мы добавим отдельной папкой с фичами, доступными внутри контейнера. Голосования за добавление фичей будут проходить в канале #proj_data_fusion_22, а добавленные фичи будут анонсироваться на митапах.</li>
</ul>

<h3>Призовой фонд задачи 2, Puzzle</h3>

1 место: 150 000 рублей 
2 место: 100 000 рублей 
3 место: 50 000 рублей

&nbsp;

<h3>FAQ</h3>

Q:&nbsp;Можете сказать, откуда собираются данные в clickstream.csv?

A:&nbsp;В файле clickstream.csv трафик интернет-провайдера со всех сайтов, категоризованный по тематикам (интересам). Например, просмотр видео на Ютубе про мебель категоризуется в тематику &quot;мебель&quot;. Аналогично с остальными сайтами: категоризуется не сам домен, а тематика конкретной страницы.

&nbsp;

Q:&nbsp;В задаче Puzzle&nbsp;можно использовать модель или данные с главной задачи? А наоборот?

A:&nbsp;Да, вы можете использовать и модели и данные из разных задач на свое усмотрение.

&nbsp;

Q:&nbsp;Я отправил сабмишн, получил статус &ldquo;Failed&rdquo;, но нет ссылки на текст ошибки. Что делать?

A:&nbsp;Скорее всего, в ваших предсказаниях представлены не все id, которые встречаются в списке id из файла transactions.csv в тесте. Это могло произойти, например, из-за фильтрации данных.

&nbsp;

Q:&nbsp;Можно ли учитывать ограничение решение по времени (60 минут) только в части применения модели и не учитывать трансформацию данных?

A:&nbsp;Нет. Условия задачи подразумевают получить матч за 60 минут для входных потоков транзакций и кликстрима.

&nbsp;

Q:&nbsp;Есть ли возможность посмотреть transactions.csv и clickstream.csv представленных в тесте? Эти ID присутствуют в данных для обучения?

A:&nbsp;Нет, эти данные недоступны участникам.

&nbsp;

Q:&nbsp;Сколько данных в тесте?

A:&nbsp;В public и private содержится приблизительно по 3000 уникальных id. При этом public и private считаются раздельно, и следовательно ограничение по ресурсам и времени распространяется на раздельный подсчет public и private.

Разминочная задача: решите Matching задачу в случае, когда все кандидаты в паре заранее известны, но сами пары не предоставлены. Простор для пост-обработки, схожей с составлением паззла.

Public

Private

https://storage.yandexcloud.net/ds-ods/files/media/meta_tag/file/4cc7551d98db/smm.jpg

description

Данные

User Agreement Bank

<a data-remove-tab-index="true" data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5_%D0%BD%D0%B0_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D1%83_%D0%9F%D0%94%D0%BD_%D0%9F%D0%90%D0%9E_%D0%92%D0%A2%D0%91_Data_Fusion_%D0%9F%D0%B8_%D0%90%D1%80_%D0%9F%D0%B0%D1%80%D1%82%D0%BD%D0%B5%D1%80_1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/%D1%81%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5_%D0%BD%D0%B0_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D1%83_%D0%9F%D0%94%D0%BD_%D0%9F%D0%90%D0%9E_%D0%92%D0%A2%D0%91_Data_Fusion_%D0%9F%D0%B8_%D0%90%D1%80_%D0%9F%D0%B0%D1%80%D1%82%D0%BD%D0%B5%D1%80_1.pdf" rel="noopener noreferrer" tabindex="-1" target="_blank">даю согласие</a>&nbsp;Банку ВТБ (ПАО) на обработку моих персональных данных, ознакомлен с&nbsp;<a data-remove-tab-index="true" data-sk="tooltip_parent" data-stringify-link="https://www.vtb.ru/-/media/Files/aktsioneram-i-investoram/raskrytie-informatsii/ustav-i-vnutrennie-dokumenty/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf" delay="150" href="https://www.vtb.ru/-/media/Files/aktsioneram-i-investoram/raskrytie-informatsii/ustav-i-vnutrennie-dokumenty/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf" rel="noopener noreferrer" tabindex="-1" target="_blank">Положением об организации обработки персональных данных&nbsp;Банком ВТБ (ПАО)</a>&nbsp;

Consent Data Processing (Data Souls)

<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" rel="noopener noreferrer" target="_blank">даю согласие</a>&nbsp;DataSouls на обработку моих персональных данных

Privacy Policy and User agreement (Data Souls)

ознакомлен и принимаю&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" rel="noopener noreferrer" target="_blank">Пользовательское соглашение</a>&nbsp;и&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" rel="noopener noreferrer" target="_blank">Политику конфиденциальности</a>&nbsp;DataSouls

first_name

First name

last_name

Last name

country

Country (lat)

city

City (lat)

email

Email

phone_optional

Phone (Optional)

Occupation

Experience

Experience in DC

study_place2

Company/study place name

Registration application for Data Fusion 2022

Соревнование Data Fusion Contest 2022. Задача 2 Puzzle

Predictions

Anton Klenitskiy

Андрей Кузнецов

Timur Redzhepov

DED DATASAINA

Deja Vu

Vlad Samarov

Dmitry Kutsenko

Anatoly Ilyenkov

Roman Barilov

Wanderer

Stepan Andreev

Vladimir Testov

Alexey Alexeev

Ivan Alexandrov

peter

Andrey Nikitin

Fit_Predict

Yuriy Kim

Alex Shteynman

Ilia Kuleshov

Nikita Mishin

Vyacheslav Krasin

Anna Yurishcheva

Artemii Zhizhko

Timofey Zheleznyakov

Pavel

Mikhail Kostin

Victor Krasilnikov

Nikita Nikonov

Uckfo

Danil Galkin

dim khor

Andrei Ratushin

Alexander Samokhin

Artemii

Mad Gnome

outlier

Vlad Balanda

OzherelieVV

e3cd646c9f1b

lyghter

Alexander Gribanov

Kostya Tikhonov

Islam Tlupov

Aleksei Naumovskii

ML heros

Stanislav Volkov

Pavel Orlov

Среднее гармоничное между
MRR@100 и Precision@100
метриками

R1 (Mean Harm.)

Mean reciprocal rank, метрика 
ранжирования для первых 
100 кандидатов в пары

MRR @100

Precision, метрика точности 
для первых 100 кандидатов

Precision @100


1	Anton Klenitskiy	0.083892085	0.048253134	0.3209130581	4y	67
2	Андрей Кузнецов	0.0738014872	0.041847134	0.3121852971	4y	88
3	Timur Redzhepov	0.0730537546	0.042687298	0.2531050688	4y	84
4	DED DATASAINA	0.0652954944	0.0370778506	0.2732460557	4y	7
5	Deja Vu	0.0535190847	0.03000994	0.2470627727	4y	6
6	Vlad Samarov	0.0525453291	0.0296013858	0.2336354481	4y	55
7	Dmitry Kutsenko	0.0519727746	0.0291072961	0.2423632091	4y	36
8	Anatoly Ilyenkov	0.0519625098	0.0291301673	0.2403491104	4y	126
9	Roman Barilov	0.0517076105	0.0287907894	0.2534407519	4y	35
10	Wanderer	0.0515564478	0.028894683	0.239006378	4y	2
11	Stepan Andreev	0.0510643901	0.0283674658	0.2554548506	4y	4
12	Vladimir Testov	0.0506610187	0.0282068277	0.2484055052	4y	40
13	Alexey Alexeev	0.0465634962	0.0259926584	0.2232292716	4y	18
14	Ivan Alexandrov	0.0464808741	0.0259966942	0.2192010742	4y	48
15	peter	0.0442877133	0.0246666018	0.2165156093	4y	5
16	abc	0.0438097398	0.0242376393	0.2275931521	4y	27
17	Andrey Nikitin	0.0432821077	0.0240036222	0.2198724404	4y	40
18	Fit_Predict	0.0419769288	0.0232414285	0.2165156093	4y	132
19	Yuriy Kim	0.0418909849	0.0231849037	0.2168512924	4y	17
20	Alex Shteynman	0.0402390162	0.0222128227	0.2134944612	4y	1
21	Ilia Kuleshov	0.0380659783	0.0210603331	0.1977173548	4y	3
22	Nikita Mishin	0.0376163301	0.0210175524	0.1789191004	4y	96
23	Vyacheslav Krasin	0.0364995232	0.0201664968	0.1920107419	4y	2
24	Anna Yurishcheva	0.0346059212	0.0190433885	0.1893252769	4y	3
25	Artemii Zhizhko	0.034395656	0.018839292	0.1973816717	4y	1
26	Timofey Zheleznyakov	0.0332270602	0.0182241444	0.1879825445	4y	16
27	Pavel	0.0330909657	0.018338952	0.16918429	4y	1
28	Mikhail Kostin	0.0330445255	0.0180778359	0.1920107419	4y	9
29	Victor Krasilnikov	0.0310823936	0.0169668167	0.1849613964	4y	8
30	Nikita Nikonov	0.0309500454	0.0168037619	0.1957032561	4y	7
31	Uckfo	0.0309500454	0.0168037619	0.1957032561	4y	3
32	Danil Galkin	0.0309500454	0.0168037619	0.1957032561	4y	1
33	dim khor	0.0280700147	0.0153927622	0.1591137966	4y	4
34	Andrei Ratushin	0.0271887358	0.0149420701	0.1507217187	4y	44
35	Alexander Samokhin	0.0245064883	0.0134905221	0.1336018798	4y	14
36	lh	0.0227248602	0.0124931129	0.1255454851	4y	7
37	Artemii	0.0215941812	0.0117568732	0.1322591474	4y	12
38	Mad Gnome	0.020030763	0.0106718856	0.1628063108	4y	1
39	outlier	0.019562506	0.0108069778	0.1030547163	4y	7
40	Vlad Balanda	0.0194908558	0.0106080893	0.1198388721	4y	181
41	OzherelieVV	0.0173880855	0.0093427651	0.1252098019	4y	5
42	e3cd646c9f1b	0.013614278	0.007080633	0.1762336354	4y	3
43	lyghter	0.0128747638	0.0069889311	0.081570997	4y	52
44	Alexander Gribanov	0.009896613	0.0053143779	0.0718361866	4y	6
45	Kostya Tikhonov	0.0069989443	0.0036132731	0.1111111111	4y	5
46	Islam Tlupov	0.0058620831	0.0030627799	0.0681436724	4y	11
47	Aleksei Naumovskii	0.0056239229	0.0029806679	0.049681101	4y	25
48	ML heros	0.0055982435	0.0032039108	0.0221550856	4y	4
49	Stanislav Volkov	0.0036118116	0.0019774947	0.0208123531	4y	4
50	Pavel Orlov	0.0025555077	0.0013501369	0.0238335012	4y	6