<p>Вам предоставлены данные из приложения МТС Kion по взаимодействиям пользователей с контентом за период 6 месяцев.<br />
В отдельных файлах есть:</p>

<ul>
<li>факты просмотра контента пользователями</li>
<li>описание контента</li>
<li>описание пользователей</li>
</ul>

<h3>Что нужно сделать?</h3>

<p>Наиболее качественно порекомендовать список из 10 объектов для каждого пользователя из тестовой выборки.<br />
Код базовых моделей для этих данных уже есть.</p>

<h3>Как сделать предсказание (сабмит)?</h3>

<p>Примеры базовых моделей и создания сабмита вы сможете найти в ноутбуке&nbsp;<a href="https://storage.yandexcloud.net/datasouls-ods/materials/9e8b3138/RecSys%20notebook%20Baseline.ipynb" rel="noopener noreferrer" target="_blank">RecSys notebook Baseline.ipynb</a>.</p>

<p>Пример сабмита вы найдете в файле под названием <code>sample_submission.csv</code>.<br />
Это id пользователей, для которых сделаны предсказания контента, максимально совпадающие с реальными фильмами/сериалами, с которыми пользователи взаимодействовали за 7 дней теста.</p>

<p>Формат файла <code>sample_submission.csv</code>:<br />
<code>Id</code> - список ID пользователей, по которым нужно сделать прогноз<br />
<code>Predicted</code> - список ID контента, отсортированного по релевантности, которые нужно предсказать. Это строка, где разделитель для ID - это запятая.</p>

<p>Формат сабмита</p>

<p>Ваш <code>submission.csv</code> - должен содержать 2 столбца: <code>Id</code> and <code>Predicted</code>.<br />
Ограничения:</p>

<ul>
<li>В сабмите должны присутствовать все пользователи тестовой выборки</li>
<li>Количество <code>item_id</code> должно быть 10</li>
<li>Они должны быть отсортированы по убыванию релевантности для пользователя.</li>
</ul>

<p>Для каждого пользователя должно быть предсказано 10 различных объектов. Не должно быть пропущенных пользователей.</p>

<h2>Метрика качества</h2>

<p>Метрика качества в соревновании - map@10 (Mean Average Precision at 10). Разберем, как именно она считается, поэтапно.</p>

<h3>Precision at K (p@K)</h3>

<p>Точность модели на K рекомендованных элементах.</p>

<p>$$p@K = \frac{\text{Количество релевантных объектов}}{\text{Количество рекомендаций}} = \frac{TP}{K} $$<br />
TP - совпадение рекомендации модели и объекта, с которым пользователь действительно провзаимодействовал</p>

<h3>Average precision at K или ap@K</h3>

<p><code>Precision at K (p@K)</code> - метрика простая для понимания и реализации, но имеет важный недостаток &mdash; она не учитывает порядок элементов в &laquo;топе&raquo;. Так, если из десяти элементов мы угадали только один, то не важно на каком месте он был: на первом, или на последнем, &mdash; в любом случае p@10 = 0.1. При этом очевидно, что первый вариант гораздо лучше.</p>

<p>Этот недостаток нивелирует метрика ранжирования <code>average precision at K (ap@K)</code>, которая равна сумме <code>p@k</code> по индексам k от 1 до K только для релевантных элементов, деленному на количество релевантных айтемов:</p>

<p>$$AP@K(user) = \frac{1}{c_{user}}\displaystyle\sum_{i=1}^{K} Precition@i * rel_{i}$$</p>

<p>N - кол-во пользователей<br />
&nbsp;$с_{user}$ - кол-во релевантных объектов у пользователя<br />
&nbsp;$rel_{i}$&nbsp; - релевантность i-ой рекомендации (индикатор, равный 1, если рекомендованный айтем с рангом i релевантен, и 0 в противном случае)</p>

<h3>Mean average precision at K (map@K)</h3>

<p>В <code>p@K</code> и <code>ap@K</code> качество ранжирования оценивается для отдельно взятого объекта пользователя. На практике пользователей, для которых мы что-то рекомендуем, много. Идея <code>map@K</code> заключается в том, чтобы посчитать <code>ap@K</code> для каждого пользователя из N и усреднить:</p>

<p>$$MAP@K = \frac{1}{N}\displaystyle\sum_{i=1}^{N} AP@K(user_{i})$$</p>

Public

Private

Sandbox

RecSys Course Competition

Predictions

Anton Andr

Anton

Dmitriy Ch

Ildar Safilo

Konstantin Skopinskiy

Dmitry Simonov

Vladislav Kruglikov

Andrei Shishkov

Vladislav Kurichenko

MR M

Ilona Kovalova

Nikita Ivanov

Aleksandr Petrov

Svetlana Khlybova

Alexey Lopatin

jenny

Vladimir Shilin

Kirill Duvakin

Kristina Zheltova

Rusanov Nikolay

Asiryan Artur

sivalien

Roman Klishchenko

Margarita Melnikova

Wassily Ilyin

OOC Narek Maloyan

Igor Belkov

Aleksey Stepin

SERGEI BARINOV

Tatiana Gultiaeva

Viktor Zhuravlev

Alex

Sergey_Svetloff

Vlad Balanda

Karim

Vladislav Rodionov

Georgiy Khan

Maria Potapova

49be28ba77b1

Irina Elisova

Mark Levin

David Akopyan

Ashot Gasparyan

Andrey T

Daniil Potapov

Dmitrii Blinov

kitstarter

Evgeny D

Anna Sarukhanova

MAP@10

#	Teams (58)	MAP@10	Last	Entries
1	Anton Andr	1.9048414459	3y	7
2	Anton	1.9048414459	3y	1
3	Dmitriy Ch	0.1157308099	3y	96
OOC	Ildar Safilo	0.1091247008	3y	4
4	Konstantin Skopinskiy	0.1077844078	3y	21
5	Dmitry Simonov	0.1077161415	3y	6
6	Vladislav Kruglikov	0.1063961794	3y	7
7	Vladislav Kruglikov	0.1063961794	3y	10
8	Andrei Shishkov	0.1034406152	3y	9
9	Vladislav Kurichenko	0.1026601825	3y	6
10	MR M	0.1016044389	3y	41
11	Ilona Kovalova	0.1011976679	3y	3
12	Nikita Ivanov	0.1002065244	3y	14
13	Aleksandr Petrov	0.0994453733	3y	13
14	Svetlana Khlybova	0.0994054299	3y	5
15	Alexey Lopatin	0.0982043674	3y	2
16	jenny	0.0970823378	3y	10
17	Vladimir Shilin	0.0965984276	3y	6
18	Kirill Duvakin	0.0956902474	3y	5
19	Kristina Zheltova	0.0950201539	3y	24
20	Rusanov Nikolay	0.0927516759	3y	4
21	Asiryan Artur	0.0926757415	3y	9
22	sivalien	0.0924213946	3y	3
23	Roman Klishchenko	0.0922943952	3y	8
24	Margarita Melnikova	0.091443544	3y	9
25	Wassily Ilyin	0.0910702779	3y	8
OOC	OOC Narek Maloyan	0.0910576768	3y	9
OOC	Igor Belkov	0.0910576768	3y	19
26	Aleksey Stepin	0.0910576768	3y	2
27	SERGEI BARINOV	0.0910576768	3y	2
28	Tatiana Gultiaeva	0.0910576768	3y	3
29	Viktor Zhuravlev	0.0910576768	3y	29
30	Alex	0.0910576768	3y	2
31	Sergey_Svetloff	0.0910576768	3y	5
32	Vlad Balanda	0.0910576768	3y	2
33	Karim	0.0910576768	3y	2
34	Vladislav Rodionov	0.0910576768	3y	3
35	Georgiy Khan	0.0910576768	3y	3
36	Maria Potapova	0.0910576768	3y	1
37	49be28ba77b1	0.0910576768	3y	1
38	Irina Elisova	0.0910576768	3y	1
39	Mark Levin	0.0910576768	3y	4
40	David Akopyan	0.0910576768	3y	3
41	Ashot Gasparyan	0.0910576768	3y	2
42	Andrey T	0.0910576768	3y	1
43	Daniil Potapov	0.0910576768	3y	1
44	Dmitrii Blinov	0.0910576768	3y	2
45	kitstarter	0.0910576768	3y	3
46	Evgeny D	0.0910576768	3y	5
47	Anna Sarukhanova	0.0910576768	3y	1