<p>Вам предоставлены данные из приложения МТС Kion по взаимодействиям пользователей с контентом за период 6 месяцев.<br />
В отдельных файлах есть:</p>

<ul>
<li>факты просмотра контента пользователями</li>
<li>описание контента</li>
<li>описание пользователей</li>
</ul>

<h3>Что нужно сделать?</h3>

<p>Наиболее качественно порекомендовать список из 10 объектов для каждого пользователя из тестовой выборки.<br />
Код базовых моделей для этих данных уже есть.</p>

<h3>Как сделать предсказание (сабмит)?</h3>

<p>Примеры базовых моделей и создания сабмита вы сможете найти в ноутбуке&nbsp;<a href="https://storage.yandexcloud.net/datasouls-ods/materials/9e8b3138/RecSys%20notebook%20Baseline.ipynb" rel="noopener noreferrer" target="_blank">RecSys notebook Baseline.ipynb</a>.</p>

<p>Пример сабмита вы найдете в файле под названием <code>sample_submission.csv</code>.<br />
Это id пользователей, для которых сделаны предсказания контента, максимально совпадающие с реальными фильмами/сериалами, с которыми пользователи взаимодействовали за 7 дней теста.</p>

<p>Формат файла <code>sample_submission.csv</code>:<br />
<code>Id</code> - список ID пользователей, по которым нужно сделать прогноз<br />
<code>Predicted</code> - список ID контента, отсортированного по релевантности, которые нужно предсказать. Это строка, где разделитель для ID - это запятая.</p>

<p>Формат сабмита</p>

<p>Ваш <code>submission.csv</code> - должен содержать 2 столбца: <code>Id</code> and <code>Predicted</code>.<br />
Ограничения:</p>

<ul>
<li>В сабмите должны присутствовать все пользователи тестовой выборки</li>
<li>Количество <code>item_id</code> должно быть 10</li>
<li>Они должны быть отсортированы по убыванию релевантности для пользователя.</li>
</ul>

<p>Для каждого пользователя должно быть предсказано 10 различных объектов. Не должно быть пропущенных пользователей.</p>

<h2>Метрика качества</h2>

<p>Метрика качества в соревновании - map@10 (Mean Average Precision at 10). Разберем, как именно она считается, поэтапно.</p>

<h3>Precision at K (p@K)</h3>

<p>Точность модели на K рекомендованных элементах.</p>

<p>$$p@K = \frac{\text{Количество релевантных объектов}}{\text{Количество рекомендаций}} = \frac{TP}{K} $$<br />
TP - совпадение рекомендации модели и объекта, с которым пользователь действительно провзаимодействовал</p>

<h3>Average precision at K или ap@K</h3>

<p><code>Precision at K (p@K)</code> - метрика простая для понимания и реализации, но имеет важный недостаток &mdash; она не учитывает порядок элементов в &laquo;топе&raquo;. Так, если из десяти элементов мы угадали только один, то не важно на каком месте он был: на первом, или на последнем, &mdash; в любом случае p@10 = 0.1. При этом очевидно, что первый вариант гораздо лучше.</p>

<p>Этот недостаток нивелирует метрика ранжирования <code>average precision at K (ap@K)</code>, которая равна сумме <code>p@k</code> по индексам k от 1 до K только для релевантных элементов, деленному на количество релевантных айтемов:</p>

<p>$$AP@K(user) = \frac{1}{c_{user}}\displaystyle\sum_{i=1}^{K} Precition@i * rel_{i}$$</p>

<p>N - кол-во пользователей<br />
&nbsp;$с_{user}$ - кол-во релевантных объектов у пользователя<br />
&nbsp;$rel_{i}$&nbsp; - релевантность i-ой рекомендации (индикатор, равный 1, если рекомендованный айтем с рангом i релевантен, и 0 в противном случае)</p>

<h3>Mean average precision at K (map@K)</h3>

<p>В <code>p@K</code> и <code>ap@K</code> качество ранжирования оценивается для отдельно взятого объекта пользователя. На практике пользователей, для которых мы что-то рекомендуем, много. Идея <code>map@K</code> заключается в том, чтобы посчитать <code>ap@K</code> для каждого пользователя из N и усреднить:</p>

<p>$$MAP@K = \frac{1}{N}\displaystyle\sum_{i=1}^{N} AP@K(user_{i})$$</p>

Public

Private

Sandbox

RecSys Course Competition

Predictions

Anton Andr

Anton

Dmitriy Ch

Ildar Safilo

Konstantin Skopinskiy

Dmitry Simonov

Vladislav Kruglikov

Andrei Shishkov

Vladislav Kurichenko

MR M

Ilona Kovalova

Nikita Ivanov

Aleksandr Petrov

Svetlana Khlybova

Alexey Lopatin

jenny

Vladimir Shilin

Kirill Duvakin

Kristina Zheltova

Rusanov Nikolay

Asiryan Artur

sivalien

Roman Klishchenko

Margarita Melnikova

Wassily Ilyin

OOC Narek Maloyan

Igor Belkov

Aleksey Stepin

SERGEI BARINOV

Tatiana Gultiaeva

Viktor Zhuravlev

Alex

Sergey_Svetloff

Vlad Balanda

Karim

Vladislav Rodionov

Georgiy Khan

Maria Potapova

49be28ba77b1

Irina Elisova

Mark Levin

David Akopyan

Ashot Gasparyan

Andrey T

Daniil Potapov

Dmitrii Blinov

kitstarter

Evgeny D

Anna Sarukhanova

MAP@10

#	Teams (58)	MAP@10	Last	Entries
1	Anton Andr	1.9048414459	2y	7
2	Anton	1.9048414459	2y	1
3	Dmitriy Ch	0.1157308099	2y	96
OOC	Ildar Safilo	0.1091247008	2y	4
4	Konstantin Skopinskiy	0.1077844078	2y	21
5	Dmitry Simonov	0.1077161415	23m	6
6	Vladislav Kruglikov	0.1063961794	23m	7
7	Vladislav Kruglikov	0.1063961794	23m	10
8	Andrei Shishkov	0.1034406152	23m	9
9	Vladislav Kurichenko	0.1026601825	23m	6
10	MR M	0.1016044389	23m	41
11	Ilona Kovalova	0.1011976679	23m	3
12	Nikita Ivanov	0.1002065244	2y	14
13	Aleksandr Petrov	0.0994453733	2y	13
14	Svetlana Khlybova	0.0994054299	23m	5
15	Alexey Lopatin	0.0982043674	2y	2
16	jenny	0.0970823378	2y	10
17	Vladimir Shilin	0.0965984276	23m	6
18	Kirill Duvakin	0.0956902474	23m	5
19	Kristina Zheltova	0.0950201539	23m	24
20	Rusanov Nikolay	0.0927516759	2y	4
21	Asiryan Artur	0.0926757415	2y	9
22	sivalien	0.0924213946	23m	3
23	Roman Klishchenko	0.0922943952	2y	8
24	Margarita Melnikova	0.091443544	23m	9
25	Wassily Ilyin	0.0910702779	23m	8
OOC	OOC Narek Maloyan	0.0910576768	2y	9
OOC	Igor Belkov	0.0910576768	2y	19
26	Aleksey Stepin	0.0910576768	2y	2
27	SERGEI BARINOV	0.0910576768	2y	2
28	Tatiana Gultiaeva	0.0910576768	2y	3
29	Viktor Zhuravlev	0.0910576768	2y	29
30	Alex	0.0910576768	2y	2
31	Sergey_Svetloff	0.0910576768	2y	5
32	Vlad Balanda	0.0910576768	2y	2
33	Karim	0.0910576768	2y	2
34	Vladislav Rodionov	0.0910576768	2y	3
35	Georgiy Khan	0.0910576768	2y	3
36	Maria Potapova	0.0910576768	2y	1
37	49be28ba77b1	0.0910576768	2y	1
38	Irina Elisova	0.0910576768	2y	1
39	Mark Levin	0.0910576768	2y	4
40	David Akopyan	0.0910576768	2y	3
41	Ashot Gasparyan	0.0910576768	2y	2
42	Andrey T	0.0910576768	2y	1
43	Daniil Potapov	0.0910576768	2y	1
44	Dmitrii Blinov	0.0910576768	23m	2
45	kitstarter	0.0910576768	23m	3
46	Evgeny D	0.0910576768	23m	5
47	Anna Sarukhanova	0.0910576768	23m	1