<p>Вам предоставлены данные из приложения МТС Kion по взаимодействиям пользователей с контентом за период 6 месяцев.<br />
В отдельных файлах есть:</p>

<ul>
<li>факты просмотра контента пользователями</li>
<li>описание контента</li>
<li>описание пользователей</li>
</ul>

<h3>Что нужно сделать?</h3>

<p>Наиболее качественно порекомендовать список из 10 объектов для каждого пользователя из тестовой выборки.<br />
Код базовых моделей для этих данных уже есть.</p>

<h3>Как сделать предсказание (сабмит)?</h3>

<p>Примеры базовых моделей и создания сабмита вы сможете найти в ноутбуке&nbsp;<a href="https://storage.yandexcloud.net/datasouls-ods/materials/9e8b3138/RecSys%20notebook%20Baseline.ipynb" rel="noopener noreferrer" target="_blank">RecSys notebook Baseline.ipynb</a>.</p>

<p>Пример сабмита вы найдете в файле под названием <code>sample_submission.csv</code>.<br />
Это id пользователей, для которых сделаны предсказания контента, максимально совпадающие с реальными фильмами/сериалами, с которыми пользователи взаимодействовали за 7 дней теста.</p>

<p>Формат файла <code>sample_submission.csv</code>:<br />
<code>Id</code> - список ID пользователей, по которым нужно сделать прогноз<br />
<code>Predicted</code> - список ID контента, отсортированного по релевантности, которые нужно предсказать. Это строка, где разделитель для ID - это запятая.</p>

<p>Формат сабмита</p>

<p>Ваш <code>submission.csv</code> - должен содержать 2 столбца: <code>Id</code> and <code>Predicted</code>.<br />
Ограничения:</p>

<ul>
<li>В сабмите должны присутствовать все пользователи тестовой выборки</li>
<li>Количество <code>item_id</code> должно быть 10</li>
<li>Они должны быть отсортированы по убыванию релевантности для пользователя.</li>
</ul>

<p>Для каждого пользователя должно быть предсказано 10 различных объектов. Не должно быть пропущенных пользователей.</p>

<h2>Метрика качества</h2>

<p>Метрика качества в соревновании - map@10 (Mean Average Precision at 10). Разберем, как именно она считается, поэтапно.</p>

<h3>Precision at K (p@K)</h3>

<p>Точность модели на K рекомендованных элементах.</p>

<p>$$p@K = \frac{\text{Количество релевантных объектов}}{\text{Количество рекомендаций}} = \frac{TP}{K} $$<br />
TP - совпадение рекомендации модели и объекта, с которым пользователь действительно провзаимодействовал</p>

<h3>Average precision at K или ap@K</h3>

<p><code>Precision at K (p@K)</code> - метрика простая для понимания и реализации, но имеет важный недостаток &mdash; она не учитывает порядок элементов в &laquo;топе&raquo;. Так, если из десяти элементов мы угадали только один, то не важно на каком месте он был: на первом, или на последнем, &mdash; в любом случае p@10 = 0.1. При этом очевидно, что первый вариант гораздо лучше.</p>

<p>Этот недостаток нивелирует метрика ранжирования <code>average precision at K (ap@K)</code>, которая равна сумме <code>p@k</code> по индексам k от 1 до K только для релевантных элементов, деленному на количество релевантных айтемов:</p>

<p>$$AP@K(user) = \frac{1}{c_{user}}\displaystyle\sum_{i=1}^{K} Precition@i * rel_{i}$$</p>

<p>N - кол-во пользователей<br />
&nbsp;$с_{user}$ - кол-во релевантных объектов у пользователя<br />
&nbsp;$rel_{i}$&nbsp; - релевантность i-ой рекомендации (индикатор, равный 1, если рекомендованный айтем с рангом i релевантен, и 0 в противном случае)</p>

<h3>Mean average precision at K (map@K)</h3>

<p>В <code>p@K</code> и <code>ap@K</code> качество ранжирования оценивается для отдельно взятого объекта пользователя. На практике пользователей, для которых мы что-то рекомендуем, много. Идея <code>map@K</code> заключается в том, чтобы посчитать <code>ap@K</code> для каждого пользователя из N и усреднить:</p>

<p>$$MAP@K = \frac{1}{N}\displaystyle\sum_{i=1}^{N} AP@K(user_{i})$$</p>

Public

Private

Sandbox

RecSys Course Competition

Predictions

Igor Belkov

Oleg Lashinin

Aleksandr Petrov

Stepan Zimin

Daria Tikhonovich

Olga

Anna Volodkevich

Eskender Dzhemadinov

Ruslan Tsygankov

Bezmen Evgeny

Salavat Dinmukhametov

alex

Eric Anime

Filipp Pogorelskii

Tanya Kurbatova

Ilona Kovalova

Misha Semenov

aismlv

OOC Narek Maloyan

Max Drobin

Tatiana

Anton Pankratov

Danil Emelyanov

Mark Baushenko

Ilia Voronov

Tatiana Malygina

Gleb Erofeev

Mikhail Marin

Dima Rusak

Dima Sokolov

Nikita Nosikovskii

Egor Pustovit

Ksenia Lisitsina

Viktor Krasilnikov

ildar safilo

Kirill Glinskiy

Vlad Balanda

vitaliylyalin

Ivan Zaputliaev

Oleg Chekan

SERGEI BARINOV

ecdrid

Andrey Poletaev

Mariia Vedernikova

Sergey Zaitsev

MAP@10

#	Teams (46)	MAP@10	Last	Entries
OOC	Igor Belkov	0.2372514236	4y	19
1	Oleg Lashinin	0.1221264954	4y	43
2	Aleksandr Petrov	0.1214464817	4y	13
3	Stepan Zimin	0.121329269	4y	14
4	Daria Tikhonovich	0.1148515459	4y	56
5	Olga	0.1135321609	5y	1
6	Anna Volodkevich	0.1126418198	4y	5
7	Eskender Dzhemadinov	0.1102508467	4y	33
8	Ruslan Tsygankov	0.1094651457	4y	9
9	Bezmen Evgeny	0.1068775205	4y	60
10	Salavat Dinmukhametov	0.1060074525	4y	15
11	alex	0.1056460392	4y	3
12	Eric Anime	0.1055235706	4y	11
13	Filipp Pogorelskii	0.1041075308	5y	44
14	Tanya Kurbatova	0.103007776	4y	39
15	Ilona Kovalova	0.100563525	4y	3
16	Misha Semenov	0.09981825	5y	31
17	aismlv	0.0997493424	5y	3
OOC	OOC Narek Maloyan	0.0979250152	4y	9
18	Max Drobin	0.096882305	4y	9
19	Tatiana	0.0968389365	4y	52
20	Anton Pankratov	0.0949398233	5y	3
21	Danil Emelyanov	0.094618805	4y	18
22	Mark Baushenko	0.0936918487	5y	44
23	Ilia Voronov	0.0928957831	4y	5
24	Tatiana Malygina	0.0917970427	5y	3
25	Gleb Erofeev	0.0913227357	5y	7
26	Mikhail Marin	0.0913227357	4y	7
27	Dima Rusak	0.0911272215	4y	9
28	Dima Sokolov	0.0911088884	4y	12
29	Nikita Nosikovskii	0.09106828	5y	10
30	Egor Pustovit	0.09106828	4y	4
31	Ksenia Lisitsina	0.09106828	5y	1
32	Viktor Krasilnikov	0.09106828	5y	2
OOC	ildar safilo	0.09106828	5y	1
33	Kirill Glinskiy	0.09106828	4y	6
34	Vlad Balanda	0.09106828	5y	2
35	vitaliylyalin	0.09106828	5y	1
36	Ivan Zaputliaev	0.09106828	5y	2
37	Oleg Chekan	0.09106828	4y	4
38	SERGEI BARINOV	0.09106828	4y	2
39	ecdrid	0.0870320903	5y	2
40	Andrey Poletaev	0.0796409126	4y	3
41	Mariia Vedernikova	0.0672011062	5y	1
42	Team data has been deleted	0.000001456	4y	7
43	Sergey Zaitsev	0	5y	1