<p>Вам предоставлены данные из приложения МТС Kion по взаимодействиям пользователей с контентом за период 6 месяцев.<br />
В отдельных файлах есть:</p>

<ul>
<li>факты просмотра контента пользователями</li>
<li>описание контента</li>
<li>описание пользователей</li>
</ul>

<h3>Что нужно сделать?</h3>

<p>Наиболее качественно порекомендовать список из 10 объектов для каждого пользователя из тестовой выборки.<br />
Код базовых моделей для этих данных уже есть.</p>

<h3>Как сделать предсказание (сабмит)?</h3>

<p>Примеры базовых моделей и создания сабмита вы сможете найти в ноутбуке&nbsp;<a href="https://storage.yandexcloud.net/datasouls-ods/materials/9e8b3138/RecSys%20notebook%20Baseline.ipynb" rel="noopener noreferrer" target="_blank">RecSys notebook Baseline.ipynb</a>.</p>

<p>Пример сабмита вы найдете в файле под названием <code>sample_submission.csv</code>.<br />
Это id пользователей, для которых сделаны предсказания контента, максимально совпадающие с реальными фильмами/сериалами, с которыми пользователи взаимодействовали за 7 дней теста.</p>

<p>Формат файла <code>sample_submission.csv</code>:<br />
<code>Id</code> - список ID пользователей, по которым нужно сделать прогноз<br />
<code>Predicted</code> - список ID контента, отсортированного по релевантности, которые нужно предсказать. Это строка, где разделитель для ID - это запятая.</p>

<p>Формат сабмита</p>

<p>Ваш <code>submission.csv</code> - должен содержать 2 столбца: <code>Id</code> and <code>Predicted</code>.<br />
Ограничения:</p>

<ul>
<li>В сабмите должны присутствовать все пользователи тестовой выборки</li>
<li>Количество <code>item_id</code> должно быть 10</li>
<li>Они должны быть отсортированы по убыванию релевантности для пользователя.</li>
</ul>

<p>Для каждого пользователя должно быть предсказано 10 различных объектов. Не должно быть пропущенных пользователей.</p>

<h2>Метрика качества</h2>

<p>Метрика качества в соревновании - map@10 (Mean Average Precision at 10). Разберем, как именно она считается, поэтапно.</p>

<h3>Precision at K (p@K)</h3>

<p>Точность модели на K рекомендованных элементах.</p>

<p>$$p@K = \frac{\text{Количество релевантных объектов}}{\text{Количество рекомендаций}} = \frac{TP}{K} $$<br />
TP - совпадение рекомендации модели и объекта, с которым пользователь действительно провзаимодействовал</p>

<h3>Average precision at K или ap@K</h3>

<p><code>Precision at K (p@K)</code> - метрика простая для понимания и реализации, но имеет важный недостаток &mdash; она не учитывает порядок элементов в &laquo;топе&raquo;. Так, если из десяти элементов мы угадали только один, то не важно на каком месте он был: на первом, или на последнем, &mdash; в любом случае p@10 = 0.1. При этом очевидно, что первый вариант гораздо лучше.</p>

<p>Этот недостаток нивелирует метрика ранжирования <code>average precision at K (ap@K)</code>, которая равна сумме <code>p@k</code> по индексам k от 1 до K только для релевантных элементов, деленному на количество релевантных айтемов:</p>

<p>$$AP@K(user) = \frac{1}{c_{user}}\displaystyle\sum_{i=1}^{K} Precition@i * rel_{i}$$</p>

<p>N - кол-во пользователей<br />
&nbsp;$с_{user}$ - кол-во релевантных объектов у пользователя<br />
&nbsp;$rel_{i}$&nbsp; - релевантность i-ой рекомендации (индикатор, равный 1, если рекомендованный айтем с рангом i релевантен, и 0 в противном случае)</p>

<h3>Mean average precision at K (map@K)</h3>

<p>В <code>p@K</code> и <code>ap@K</code> качество ранжирования оценивается для отдельно взятого объекта пользователя. На практике пользователей, для которых мы что-то рекомендуем, много. Идея <code>map@K</code> заключается в том, чтобы посчитать <code>ap@K</code> для каждого пользователя из N и усреднить:</p>

<p>$$MAP@K = \frac{1}{N}\displaystyle\sum_{i=1}^{N} AP@K(user_{i})$$</p>

Public

Private

Sandbox

RecSys Course Competition

Predictions

Anton Andr

Anton

Dmitriy Ch

Ildar Safilo

Konstantin Skopinskiy

Dmitry Simonov

Vladislav Kruglikov

Andrei Shishkov

Vladislav Kurichenko

MR M

Ilona Kovalova

Nikita Ivanov

Aleksandr Petrov

Svetlana Khlybova

Alexey Lopatin

jenny

Vladimir Shilin

Kirill Duvakin

Kristina Zheltova

Rusanov Nikolay

Asiryan Artur

sivalien

Roman Klishchenko

Margarita Melnikova

Wassily Ilyin

OOC Narek Maloyan

Igor Belkov

Aleksey Stepin

SERGEI BARINOV

Tatiana Gultiaeva

Viktor Zhuravlev

Alex

Sergey_Svetloff

Vlad Balanda

Karim

Vladislav Rodionov

Georgiy Khan

Maria Potapova

49be28ba77b1

Irina Elisova

Mark Levin

David Akopyan

Ashot Gasparyan

Andrey T

Daniil Potapov

Dmitrii Blinov

kitstarter

Evgeny D

Anna Sarukhanova

MAP@10

#	Teams (58)	MAP@10	Last	Entries
1	Anton Andr	1.9048414459	4y	7
2	Anton	1.9048414459	4y	1
3	Dmitriy Ch	0.1157308099	4y	96
OOC	Ildar Safilo	0.1091247008	4y	4
4	Konstantin Skopinskiy	0.1077844078	4y	21
5	Dmitry Simonov	0.1077161415	4y	6
6	Vladislav Kruglikov	0.1063961794	4y	7
7	Vladislav Kruglikov	0.1063961794	4y	10
8	Andrei Shishkov	0.1034406152	4y	9
9	Vladislav Kurichenko	0.1026601825	4y	6
10	MR M	0.1016044389	4y	41
11	Ilona Kovalova	0.1011976679	4y	3
12	Nikita Ivanov	0.1002065244	4y	14
13	Aleksandr Petrov	0.0994453733	4y	13
14	Svetlana Khlybova	0.0994054299	4y	5
15	Alexey Lopatin	0.0982043674	4y	2
16	jenny	0.0970823378	4y	10
17	Vladimir Shilin	0.0965984276	4y	6
18	Kirill Duvakin	0.0956902474	4y	5
19	Kristina Zheltova	0.0950201539	4y	24
20	Rusanov Nikolay	0.0927516759	4y	4
21	Asiryan Artur	0.0926757415	4y	9
22	sivalien	0.0924213946	4y	3
23	Roman Klishchenko	0.0922943952	4y	8
24	Margarita Melnikova	0.091443544	4y	9
25	Wassily Ilyin	0.0910702779	4y	8
OOC	OOC Narek Maloyan	0.0910576768	4y	9
OOC	Igor Belkov	0.0910576768	4y	19
26	Aleksey Stepin	0.0910576768	4y	2
27	SERGEI BARINOV	0.0910576768	4y	2
28	Tatiana Gultiaeva	0.0910576768	4y	3
29	Viktor Zhuravlev	0.0910576768	4y	29
30	Alex	0.0910576768	4y	2
31	Sergey_Svetloff	0.0910576768	4y	5
32	Vlad Balanda	0.0910576768	4y	2
33	Karim	0.0910576768	4y	2
34	Vladislav Rodionov	0.0910576768	4y	3
35	Georgiy Khan	0.0910576768	4y	3
36	Maria Potapova	0.0910576768	4y	1
37	49be28ba77b1	0.0910576768	4y	1
38	Irina Elisova	0.0910576768	4y	1
39	Mark Levin	0.0910576768	4y	4
40	David Akopyan	0.0910576768	4y	3
41	Ashot Gasparyan	0.0910576768	4y	2
42	Andrey T	0.0910576768	4y	1
43	Daniil Potapov	0.0910576768	4y	1
44	Dmitrii Blinov	0.0910576768	4y	2
45	kitstarter	0.0910576768	4y	3
46	Evgeny D	0.0910576768	4y	5
47	Anna Sarukhanova	0.0910576768	4y	1