<p>Вам предоставлены данные из приложения МТС Kion по взаимодействиям пользователей с контентом за период 6 месяцев.<br />
В отдельных файлах есть:</p>

<ul>
<li>факты просмотра контента пользователями</li>
<li>описание контента</li>
<li>описание пользователей</li>
</ul>

<h3>Что нужно сделать?</h3>

<p>Наиболее качественно порекомендовать список из 10 объектов для каждого пользователя из тестовой выборки.<br />
Код базовых моделей для этих данных уже есть.</p>

<h3>Как сделать предсказание (сабмит)?</h3>

<p>Примеры базовых моделей и создания сабмита вы сможете найти в ноутбуке&nbsp;<a href="https://storage.yandexcloud.net/datasouls-ods/materials/9e8b3138/RecSys%20notebook%20Baseline.ipynb" rel="noopener noreferrer" target="_blank">RecSys notebook Baseline.ipynb</a>.</p>

<p>Пример сабмита вы найдете в файле под названием <code>sample_submission.csv</code>.<br />
Это id пользователей, для которых сделаны предсказания контента, максимально совпадающие с реальными фильмами/сериалами, с которыми пользователи взаимодействовали за 7 дней теста.</p>

<p>Формат файла <code>sample_submission.csv</code>:<br />
<code>Id</code> - список ID пользователей, по которым нужно сделать прогноз<br />
<code>Predicted</code> - список ID контента, отсортированного по релевантности, которые нужно предсказать. Это строка, где разделитель для ID - это запятая.</p>

<p>Формат сабмита</p>

<p>Ваш <code>submission.csv</code> - должен содержать 2 столбца: <code>Id</code> and <code>Predicted</code>.<br />
Ограничения:</p>

<ul>
<li>В сабмите должны присутствовать все пользователи тестовой выборки</li>
<li>Количество <code>item_id</code> должно быть 10</li>
<li>Они должны быть отсортированы по убыванию релевантности для пользователя.</li>
</ul>

<p>Для каждого пользователя должно быть предсказано 10 различных объектов. Не должно быть пропущенных пользователей.</p>

<h2>Метрика качества</h2>

<p>Метрика качества в соревновании - map@10 (Mean Average Precision at 10). Разберем, как именно она считается, поэтапно.</p>

<h3>Precision at K (p@K)</h3>

<p>Точность модели на K рекомендованных элементах.</p>

<p>$$p@K = \frac{\text{Количество релевантных объектов}}{\text{Количество рекомендаций}} = \frac{TP}{K} $$<br />
TP - совпадение рекомендации модели и объекта, с которым пользователь действительно провзаимодействовал</p>

<h3>Average precision at K или ap@K</h3>

<p><code>Precision at K (p@K)</code> - метрика простая для понимания и реализации, но имеет важный недостаток &mdash; она не учитывает порядок элементов в &laquo;топе&raquo;. Так, если из десяти элементов мы угадали только один, то не важно на каком месте он был: на первом, или на последнем, &mdash; в любом случае p@10 = 0.1. При этом очевидно, что первый вариант гораздо лучше.</p>

<p>Этот недостаток нивелирует метрика ранжирования <code>average precision at K (ap@K)</code>, которая равна сумме <code>p@k</code> по индексам k от 1 до K только для релевантных элементов, деленному на количество релевантных айтемов:</p>

<p>$$AP@K(user) = \frac{1}{c_{user}}\displaystyle\sum_{i=1}^{K} Precition@i * rel_{i}$$</p>

<p>N - кол-во пользователей<br />
&nbsp;$с_{user}$ - кол-во релевантных объектов у пользователя<br />
&nbsp;$rel_{i}$&nbsp; - релевантность i-ой рекомендации (индикатор, равный 1, если рекомендованный айтем с рангом i релевантен, и 0 в противном случае)</p>

<h3>Mean average precision at K (map@K)</h3>

<p>В <code>p@K</code> и <code>ap@K</code> качество ранжирования оценивается для отдельно взятого объекта пользователя. На практике пользователей, для которых мы что-то рекомендуем, много. Идея <code>map@K</code> заключается в том, чтобы посчитать <code>ap@K</code> для каждого пользователя из N и усреднить:</p>

<p>$$MAP@K = \frac{1}{N}\displaystyle\sum_{i=1}^{N} AP@K(user_{i})$$</p>

Public

Private

Sandbox

RecSys Course Competition

Predictions

Oleg Lashinin

Stepan Zimin

Aleksandr Petrov

Daria Tikhonovich

Olga

Anna Volodkevich

Eskender Dzhemadinov

Ruslan Tsygankov

Bezmen Evgeny

Salavat Dinmukhametov

Eric Anime

alex

Filipp Pogorelskii

Tanya Kurbatova

Ilona Kovalova

aismlv

Misha Semenov

Tatiana

Danil Emelyanov

Max Drobin

Anton Pankratov

Mark Baushenko

Ilia Voronov

Tatiana Malygina

Dima Sokolov

Gleb Erofeev

Mikhail Marin

Dima Rusak

OOC Narek Maloyan

Igor Belkov

Ksenia Lisitsina

Viktor Krasilnikov

ildar safilo

Kirill Glinskiy

Vlad Balanda

vitaliylyalin

Ivan Zaputliaev

Oleg Chekan

SERGEI BARINOV

Andrey Poletaev

Mariia Vedernikova

ecdrid

Nikita Nosikovskii

Egor Pustovit

Sergey Zaitsev

MAP@10

#	Teams (46)	MAP@10	Last	Entries
1	Oleg Lashinin	0.1216800023	3y	43
2	Stepan Zimin	0.1213476572	3y	14
3	Aleksandr Petrov	0.1211193426	3y	13
4	Daria Tikhonovich	0.1150265528	3y	56
5	Olga	0.1135704183	4y	1
6	Anna Volodkevich	0.112056357	3y	5
7	Eskender Dzhemadinov	0.1094082965	3y	33
8	Ruslan Tsygankov	0.1091742533	3y	9
9	Bezmen Evgeny	0.1064462541	3y	60
10	Salavat Dinmukhametov	0.1055195135	3y	15
11	Eric Anime	0.1050476876	3y	11
12	alex	0.1047865313	3y	3
13	Filipp Pogorelskii	0.1044323293	4y	44
14	Tanya Kurbatova	0.1033179306	3y	39
15	Ilona Kovalova	0.100826803	3y	3
16	aismlv	0.10017723	4y	3
17	Misha Semenov	0.0991222766	4y	31
18	Tatiana	0.0963929427	3y	52
19	Danil Emelyanov	0.0947214755	3y	18
20	Max Drobin	0.0946426568	3y	9
21	Anton Pankratov	0.0941199089	4y	3
22	Mark Baushenko	0.0939002882	4y	44
23	Ilia Voronov	0.093064925	3y	5
24	Tatiana Malygina	0.0921457689	4y	3
25	Dima Sokolov	0.0913609711	3y	12
26	Gleb Erofeev	0.0912771251	4y	7
27	Mikhail Marin	0.0912771251	3y	7
28	Dima Rusak	0.091126363	3y	9
OOC	OOC Narek Maloyan	0.0910576768	3y	9
OOC	Igor Belkov	0.0910576768	3y	19
29	Ksenia Lisitsina	0.0910576768	4y	1
30	Viktor Krasilnikov	0.0910576768	4y	2
OOC	ildar safilo	0.0910576768	4y	1
31	Kirill Glinskiy	0.0910576768	3y	6
32	Vlad Balanda	0.0910576768	4y	2
33	vitaliylyalin	0.0910576768	4y	1
34	Ivan Zaputliaev	0.0910576768	4y	2
35	Oleg Chekan	0.0910576768	3y	4
36	SERGEI BARINOV	0.0910576768	3y	2
37	Andrey Poletaev	0.0795662067	3y	3
38	Mariia Vedernikova	0.0674927169	4y	1
39	ecdrid	0.0607568903	4y	2
40	Nikita Nosikovskii	0.0417199407	4y	10
41	Egor Pustovit	0.0014104778	3y	4
42	Team data has been deleted	0.0000000764	3y	7
43	Sergey Zaitsev	0	4y	1