Вам предоставлены данные из приложения МТС Kion по взаимодействиям пользователей с контентом за период 6 месяцев. 
В отдельных файлах есть:

<ul>
<li>факты просмотра контента пользователями</li>
<li>описание контента</li>
<li>описание пользователей</li>
</ul>

<h3>Что нужно сделать?</h3>

Наиболее качественно порекомендовать список из 10 объектов для каждого пользователя из тестовой выборки. 
Код базовых моделей для этих данных уже есть.

<h3>Как сделать предсказание (сабмит)?</h3>

Примеры базовых моделей и создания сабмита вы сможете найти в ноутбуке&nbsp;<a href="https://storage.yandexcloud.net/datasouls-ods/materials/9e8b3138/RecSys%20notebook%20Baseline.ipynb" rel="noopener noreferrer" target="_blank">RecSys notebook Baseline.ipynb</a>.

Пример сабмита вы найдете в файле под названием <code>sample_submission.csv</code>. 
Это id пользователей, для которых сделаны предсказания контента, максимально совпадающие с реальными фильмами/сериалами, с которыми пользователи взаимодействовали за 7 дней теста.

Формат файла <code>sample_submission.csv</code>: 
<code>Id</code> - список ID пользователей, по которым нужно сделать прогноз 
<code>Predicted</code> - список ID контента, отсортированного по релевантности, которые нужно предсказать. Это строка, где разделитель для ID - это запятая.

Формат сабмита

Ваш <code>submission.csv</code> - должен содержать 2 столбца: <code>Id</code> and <code>Predicted</code>. 
Ограничения:

<ul>
<li>В сабмите должны присутствовать все пользователи тестовой выборки</li>
<li>Количество <code>item_id</code> должно быть 10</li>
<li>Они должны быть отсортированы по убыванию релевантности для пользователя.</li>
</ul>

Для каждого пользователя должно быть предсказано 10 различных объектов. Не должно быть пропущенных пользователей.

<h2>Метрика качества</h2>

Метрика качества в соревновании - map@10 (Mean Average Precision at 10). Разберем, как именно она считается, поэтапно.

<h3>Precision at K (p@K)</h3>

Точность модели на K рекомендованных элементах.

$$p@K = \frac{\text{Количество релевантных объектов}}{\text{Количество рекомендаций}} = \frac{TP}{K} $$ 
TP - совпадение рекомендации модели и объекта, с которым пользователь действительно провзаимодействовал

<h3>Average precision at K или ap@K</h3>

<code>Precision at K (p@K)</code> - метрика простая для понимания и реализации, но имеет важный недостаток &mdash; она не учитывает порядок элементов в &laquo;топе&raquo;. Так, если из десяти элементов мы угадали только один, то не важно на каком месте он был: на первом, или на последнем, &mdash; в любом случае p@10 = 0.1. При этом очевидно, что первый вариант гораздо лучше.

Этот недостаток нивелирует метрика ранжирования <code>average precision at K (ap@K)</code>, которая равна сумме <code>p@k</code> по индексам k от 1 до K только для релевантных элементов, деленному на количество релевантных айтемов:

$$AP@K(user) = \frac{1}{c_{user}}\displaystyle\sum_{i=1}^{K} Precition@i * rel_{i}$$

N - кол-во пользователей 
&nbsp;$с_{user}$ - кол-во релевантных объектов у пользователя 
&nbsp;$rel_{i}$&nbsp; - релевантность i-ой рекомендации (индикатор, равный 1, если рекомендованный айтем с рангом i релевантен, и 0 в противном случае)

<h3>Mean average precision at K (map@K)</h3>

В <code>p@K</code> и <code>ap@K</code> качество ранжирования оценивается для отдельно взятого объекта пользователя. На практике пользователей, для которых мы что-то рекомендуем, много. Идея <code>map@K</code> заключается в том, чтобы посчитать <code>ap@K</code> для каждого пользователя из N и усреднить:

$$MAP@K = \frac{1}{N}\displaystyle\sum_{i=1}^{N} AP@K(user_{i})$$

Public

Private

Sandbox

RecSys Course Competition

Predictions

Мы расскажем о том, как можно оценивать эффект от влияния рекомендаций на продукт, зачем делать А/Б тест и что с помощью него оценивать. В конце мы поговорим о том, как можно связывать оффлайн и онлайн метрики( бизнесовые метрики) в рекомендательных системах, также обсудим проблему bias и feedback loop.

Теория

Бизнес-эффект от рекомендаций

Занятие состоит из двух частей - теории и практики.

В первой половине лекции обсудим способы получения качественной оценки качества рекомендаций. В частности, познакомимся с «визуальным анализом» - методом оценки рекомендательной системы «глазами», узнаем кто такие «аватары» и как они применяются. Во второй половине теоретической части поговорим о таких свойствах рекомендаций как разнообразие и новизна: зачем они нужны, как их оценивать и оптимизировать.

Дополнительные методы оценки качества рекомендаций

На лекции обсудим, что такое production (прод) для рекомендательных систем и зачем он нужен. Затем рассмотрим различные варианты реализации прода - offline, nearine, online - и поговорим о том, когда какой вариант лучше использовать. После чего детально рассмотрим как грамотно построить офлайн-продд, какие инструменты использовать и на что обратить внимание. В конце осветим несколько общих моментов про то, как сделать прод лучше.

Ускорение рекомендаций в проде

В этой лекции вас ждет рассказ про двухуровневую или двухэтапную модель.
Мы разберем в теории и на примере с кодом зачем ее строить, какие модели стоит использовать на каждом этапе. Как правильно собрать трейн и тест и настроить схему валидации.
Первая часть лекции - теория, вторая - практика на датасете от онлайн-кинотеатра Кион.

Двухэтапная модель

Мы поговорим о применении нейросетевых подходов для построения рекомендаций.

Нейросетевая матричная факторизация и dssm (Теория)

Нейросетевая матричная факторизация и dssm (Практика)

Соревнование

RecSys Competition

Этот курс является прямым продолжением курса <a href="https://ods.ai/tracks/mts-recsys-df2020" rel="noopener noreferrer" target="_blank">Your First RecSys</a> от команды рекомендательных систем компании МТС. На прошлом курсе вы научились предобрабатывать данные, построили первую рекомендательную модель, посчитали метрики и немного затронули все проблемы в RecSys.&nbsp; 
На этом курсе мы более подробно коснемся проблемы оценки эффекта влияния рекомендательной модели на продукт и способы измерения этого влияния, построим production систему от файлика в ноутбучке до real-time микросервисной архитектуры, и, конечно, научимся использовать более сложные модели, а именно: двухуровневые и нейросетевые. Вас ждут лекции от разных экспертов МТС, примеры с кодом и соревнование на реальных данных в конце курса. 
&nbsp;

Курс состоит из трех частей:

 
1. Your first money / experiment&nbsp;

<ul>
	<li>Бизнес-эффект от рекомендаций&nbsp;&nbsp;&nbsp;</li>
	<li>Дополнительные методы оценки качества рекомендаций</li>
</ul>

2. Your first prod

<ul>
	<li>&nbsp;Рекомендации в проде</li>
	<li>Ускорение рекомендаций в проде</li>
</ul>

3. Your second model&nbsp;

<ul>
	<li>Двухэтапная модель&nbsp;</li>
	<li>Нейросетевая матричная факторизация и dssm 
	&nbsp;</li>
</ul>

<a href="https://github.com/sharthZ23/your-second-recsys" rel="noopener noreferrer" target="_blank">Репозиторий с кодом</a>

Официальный канал: <a href="https://app.slack.com/client/T040HKJE3/C02F8FS88HL" rel="noopener noreferrer" target="_blank">#course_recsys</a> в ODS.ai Slack. Если вы ещё не зарегистрированы, присоединиться к сообществу можно по <a href="https://ods.ai/join-community" rel="noopener noreferrer" target="_blank">ссылке</a>

<a href="https://t.me/joinchat/kSHdiT8RWXIwMDBi" rel="noopener noreferrer" target="_blank">Телеграм группа&nbsp;</a>

Ильдар

Владимир

Игорь

Эмилий

Ирина

Глеб

Александр

Михаил

Трек для глубокого изучения рекомендательных систем на практике

User Agreement

I accept <a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/UserAgreement.pdf" rel="noopener noreferrer" target="_blank">Terms of User Agreement and Privacy Policy</a>

Privacy Policy

I give my <a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/Consent.pdf" rel="noopener noreferrer" target="_blank">consent</a> to &laquo;Sorevnovaniya Analiza Dannykh&raquo; LLC to process and transfer my personal data to the partners of the event for information interaction

Consent

I <a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/Email.pdf" rel="noopener noreferrer" target="_blank">agree</a> to receive newsletters from &laquo;Sorevnovaniya Analiza Dannykh&raquo; LLC

#	Teams (46)	MAP@10	Last	Entries
1	Oleg Lashinin	0.1216800023	3y	43
2	Stepan Zimin	0.1213476572	3y	14
3	Aleksandr Petrov	0.1211193426	3y	13
4	Daria Tikhonovich	0.1150265528	3y	56
5	Olga	0.1135704183	4y	1
6	Anna Volodkevich	0.112056357	3y	5
7	Eskender Dzhemadinov	0.1094082965	3y	33
8	Ruslan Tsygankov	0.1091742533	3y	9
9	Bezmen Evgeny	0.1064462541	3y	60
10	Salavat Dinmukhametov	0.1055195135	3y	15
11	Eric Anime	0.1050476876	3y	11
12	alex	0.1047865313	3y	3
13	Filipp Pogorelskii	0.1044323293	4y	44
14	Tanya Kurbatova	0.1033179306	3y	39
15	Ilona Kovalova	0.100826803	3y	3
16	aismlv	0.10017723	4y	3
17	Misha Semenov	0.0991222766	4y	31
18	Tatiana	0.0963929427	3y	52
19	Danil Emelyanov	0.0947214755	3y	18
20	Max Drobin	0.0946426568	3y	9
21	Anton Pankratov	0.0941199089	4y	3
22	Mark Baushenko	0.0939002882	4y	44
23	Ilia Voronov	0.093064925	3y	5
24	Tatiana Malygina	0.0921457689	4y	3
25	Dima Sokolov	0.0913609711	3y	12
26	Gleb Erofeev	0.0912771251	4y	7
27	Mikhail Marin	0.0912771251	3y	7
28	Dima Rusak	0.091126363	3y	9
OOC	OOC Narek Maloyan	0.0910576768	3y	9
OOC	Igor Belkov	0.0910576768	3y	19
29	Ksenia Lisitsina	0.0910576768	4y	1
30	Viktor Krasilnikov	0.0910576768	4y	2
OOC	ildar safilo	0.0910576768	4y	1
31	Kirill Glinskiy	0.0910576768	3y	6
32	Vlad Balanda	0.0910576768	4y	2
33	vitaliylyalin	0.0910576768	4y	1
34	Ivan Zaputliaev	0.0910576768	4y	2
35	Oleg Chekan	0.0910576768	3y	4
36	SERGEI BARINOV	0.0910576768	3y	2
37	Andrey Poletaev	0.0795662067	3y	3
38	Mariia Vedernikova	0.0674927169	4y	1
39	ecdrid	0.0607568903	4y	2
40	Nikita Nosikovskii	0.0417199407	4y	10
41	Egor Pustovit	0.0014104778	3y	4
42	Team data has been deleted	0.0000000764	3y	7
43	Sergey Zaitsev	0	4y	1