# НТО 2025/2026 — Профиль «Искусственный интеллект»



## Командный этап

## Правила участия

Нажимая кнопку «Отправить решение», вы соглашаетесь с [Правилами участия в соревновании.](https://disk.yandex.ru/i/SOn00swRMGu_cw)

**Обратите внимание:** до дедлайна выбора финальных сабмитов  второго этапа участник заполняет форму: https://forms.yandex.ru/u/6912ff409029024866e7cbce/ — с указанием UID на ods.ai, ID на talent.kruzhok.org и ссылкой на артефакты. 

Форму можно отправлять повторно; к проверке принимается последняя подача до дедлайна. Отсутствие формы или её подача после дедлайна означает, что даже при достаточном результате на лидерборде ODS переход в следующий этап реализован не будет.

---



## 1. Описание задачи



**Контекст:** Книжная платформа различает два типа пользовательской активности: добавление книги в «планы» (`has_read=0`) и фактическое прочтение (`has_read=1`). Это сигналы разной силы: намерение прочесть не всегда приводит к реальному действию.

**Цель:** Разработать модель, которая сможет правильно упорядочить смешанный список книг-кандидатов по **трехуровневой иерархии релевантности**:
1. **Высшая ценность (2 балла):** Книги, которые пользователь действительно прочитал (`has_read=1`)
2. **Средняя ценность (1 балл):** Книги, которые пользователь добавил в планы, но не прочитал (`has_read=0`)
3. **Низшая ценность (0 баллов):** "Холодные" кандидаты — книги, с которыми пользователь никогда не взаимодействовал, но которые были добавлены в пул кандидатов на основе рекомендаций базовой модели

Для каждого пользователя в `candidates.csv` предоставляется смешанный список, состоящий из его реальных взаимодействий в тестовом периоде (и прочитанных, и запланированных) плюс "холодные" кандидаты. Задача модели — правильно упорядочить этот список так, чтобы прочитанные книги оказались на самых первых позициях, запланированные — ниже прочитанных, но выше "холодных" кандидатов.

Это задача **предсказания конверсии** (conversion prediction) с элементами "cold start", замаскированная под Learning-to-Rank (LTR). Модель должна научиться выделять "золото" (прочитанные), "серебро" (запланированные) и "пустую породу" ("холодные" кандидаты), проверяя навыки построения моделей, способных различать силу сигналов взаимодействия и предсказывать конверсию из интереса в фактическое потребление контента.

### 1.1. Особенности задачи

**Временное разделение:** Обучающая выборка (`train.csv`) содержит историю взаимодействий пользователей до определенного момента времени (T_global), а тестовые данные (кандидаты для ранжирования) относятся к более позднему периоду. Это обеспечивает реалистичность задачи: участники должны предсказать будущие взаимодействия на основе прошлых.

**Смешанные кандидаты:** Для каждого пользователя в `candidates.csv` предоставляется смешанный список, состоящий из:
- Всех книг, с которыми он взаимодействовал в тестовом периоде (и прочитанные, и запланированные)
- "Холодных" кандидатов — до 15 дополнительных книг, сгенерированных базовой рекомендательной моделью (ALS), с которыми пользователь никогда не взаимодействовал

Это делает задачу более сложной и реалистичной: участники должны не только отличать прочитанные книги от запланированных, но и отфильтровать "холодных" кандидатов, которые не представляют реального интереса пользователя.

**Временные метки:** В обучающей выборке (`train.csv`) присутствуют временные метки (`timestamp`), что позволяет участникам строить временные модели и анализировать паттерны взаимодействий. Однако в `candidates.csv` временные метки не предоставляются, что требует использования других признаков для ранжирования и усложняет задачу.

**Изоляция данных:** Пользователи Stage 2 полностью изолированы от пользователей Stage 1, что гарантирует независимость этапов соревнования.



---



## 2. Бейзлайн-решение



Для быстрого старта предоставлено бейзлайн-решение, которое можно и нужно использовать в качестве отправной точки для разработки собственного решения.



**Бейзлайн расположен по ссылке:** [https://github.com/Orange-Hack/nto-ai-25-26-team-baseline](https://github.com/Orange-Hack/nto-ai-25-26-team-baseline). Если вы предпочитаете работу в Jupyter Notebook'ах (.ipynb) -- см. страницу соревнования "Данные". Там лежит ноутбук, дублирующий функционал репозитория и который удобно запустить в Google Colab.



**Рекомендация:** Для старта работы рекомендуется сделать Fork репозитория. Это позволит бесшовно получать обновления бейзлайна через синхронизацию с оригинальным репозиторием.



Бейзлайн содержит:

- Полностью рабочий пайплайн обучения и предсказания

- Примеры feature engineering (агрегированные признаки, работа с текстом через TF-IDF и BERT)

- Структуру проекта и необходимые утилиты для валидации решения



Рекомендуется изучить бейзлайн перед началом работы над задачей.



---



## 3. Данные



Участникам предоставляется набор файлов, содержащий историю взаимодействий, пулы кандидатов для ранжирования и необходимые метаданные.

**Основные файлы:**
- `train.csv` — обучающая история взаимодействий (с временными метками)
- `targets.csv` — список пользователей для ранжирования
- `candidates.csv` — пулы кандидатов для каждого пользователя (без временных меток)
- `books.csv`, `users.csv`, `genres.csv`, `book_genres.csv`, `book_descriptions.csv` — метаданные

> **Подробное описание** состава файлов, структуры таблиц, полей и принципов формирования данных вынесено в сопроводительный документ: «Этап 2Б: Описание данных и формата решений».



---



## 4. Формат решения



Файл с решением должен быть представлен в формате CSV с разделителем запятая (`,`).

> **Подробные требования** к структуре колонок, типам данных и ограничениям описаны в сопроводительном документе: «Этап 2Б: Описание данных и формата решений».



---



## 5. Метрика оценки



Итоговый балл рассчитывается по метрике **NDCG@20 (Normalized Discounted Cumulative Gain at 20)** — стандартной метрике для задач ранжирования с многоуровневой релевантностью.

### 5.1. Почему NDCG@20?

NDCG@20 идеально подходит для нашей задачи, потому что:

1. **Поддерживает многоуровневую релевантность:** Метрика создана для оценки ранжирования, где элементы имеют разную "ценность" (в нашем случае: 2 балла за прочитанные, 1 за запланированные, 0 за "холодных" кандидатов).

2. **Наказывает за неправильный порядок:** Если вы поставите запланированную книгу (1 балл) выше прочитанной (2 балла), метрика сильно снизится. Это гарантирует, что модель правильно понимает иерархию ценности взаимодействий.

3. **Учитывает позиции:** Чем выше в списке находится релевантная книга, тем больше она вносит вклад в метрику. Это поощряет правильное ранжирование не только по уровням, но и внутри каждого уровня.

4. **Справедливость:** Метрика нормирована на идеальный результат, что позволяет сравнивать пользователей с разным количеством взаимодействий.

### 5.2. NDCG@20 (Normalized Discounted Cumulative Gain at 20)

Для каждого пользователя рассчитывается **NDCG@20** на основе трехуровневой релевантности:

**Шаг 1: Присвоение баллов релевантности**
Для каждой книги в вашем ранжированном списке присваивается балл релевантности:

- rel(r_i) = 2, если книга прочитана пользователем (присутствует в `book_id_list_read`)
- rel(r_i) = 1, если книга добавлена в планы (присутствует в `book_id_list_planned`)
- rel(r_i) = 0, если книга является "холодным" кандидатом (отсутствует в обоих списках)

**Шаг 2: Расчет DCG (Discounted Cumulative Gain)**

$$
\mathrm{DCG@20}(u) = \sum_{i=1}^{\min(|R(u)|, 20)} \frac{rel(r_i)}{\log_2(i+1)}
$$

**Шаг 3: Расчет IDCG (Ideal DCG)**
Идеальный DCG рассчитывается для идеального ранжирования, где все книги отсортированы по убыванию релевантности:

$$
\mathrm{IDCG@20}(u) = \sum_{i=1}^{\min(|R(u)|, 20)} \frac{rel_{ideal}(r_i)}{\log_2(i+1)}
$$

где rel_ideal — это список баллов релевантности, отсортированный по убыванию (сначала все двойки, потом все единицы, потом все нули).

**Шаг 4: Нормализация**

$$
\mathrm{NDCG@20}(u) = \frac{\mathrm{DCG@20}(u)}{\mathrm{IDCG@20}(u)}
$$

**Итоговая метрика — среднее значение по всем пользователям:**

$$
\overline{\mathrm{NDCG@20}} = \frac{1}{N} \sum_{j=1}^N \mathrm{NDCG@20}(u_j)
$$

**Обработка edge case:** Если все релевантности равны 0 (например, пользователь не прочитал и не запланировал ни одной книги из кандидатов), метрика равна 0.0.

**Обозначения:**
- $N$ — количество пользователей в выборке
- $u$ — конкретный пользователь
- $\mathrm{rel}(r_i)$ — балл релевантности книги на позиции $i$ (0, 1, или 2)
- $R(u)$ — ваш ранжированный список книг для пользователя $u$ (до 20 книг, или все доступные кандидаты, если их меньше 20)

### 5.3. Итоговый балл (Score)

Итоговый балл равен NDCG@20:

$$
\mathrm{Score} = \overline{\mathrm{NDCG@20}}
$$

**Чем выше Score, тем лучше результат.** Лидерборд сортируется по убыванию значения Score.

### 5.4. Пример расчета

Пусть для пользователя $u$:
- Кандидаты (10 книг): `[A, B, C, D, E, F, G, H, I, J]`
- Прочитанные книги: `{E, F}` (2 книги, релевантность = 2)
- Запланированные книги: `{A, C}` (2 книги, релевантность = 1)
- "Холодные" кандидаты: `{B, D, G, H, I, J}` (6 книг, релевантность = 0)

**Вариант 1: Правильный порядок**
Ваш submission: `[E, F, A, C, B, D, G, H, I, J]`

**Relevance scores:** `[2, 2, 1, 1, 0, 0, 0, 0, 0, 0]`

**DCG@20:**
- Позиция 1 (E): 2 / log_2(2) = 2.0
- Позиция 2 (F): 2 / log_2(3) = 1.261
- Позиция 3 (A): 1 / log_2(4) = 0.5
- Позиция 4 (C): 1 / log_2(5) = 0.431
- Остальные: 0

**DCG = 2.0 + 1.261 + 0.5 + 0.431 = 4.192**

**IDCG@20:** Для идеального ранжирования (сначала все двойки, потом единицы, потом нули) — такой же результат: **4.192**

**NDCG@20 = 4.192 / 4.192 = 1.0** ✓

**Вариант 2: Неправильный порядок**
Ваш submission: `[A, B, C, D, E, F, G, H, I, J]` (запланированные выше прочитанных!)

**Relevance scores:** `[1, 0, 1, 0, 2, 2, 0, 0, 0, 0]`

**DCG@20:**
- Позиция 1 (A): 1 / log_2(2) = 1.0
- Позиция 2 (B): 0 / log_2(3) = 0
- Позиция 3 (C): 1 / log_2(4) = 0.5
- Позиция 4 (D): 0 / log_2(5) = 0
- Позиция 5 (E): 2 / log_2(6) = 0.774
- Позиция 6 (F): 2 / log_2(7) = 0.712
- Остальные: 0

**DCG = 1.0 + 0 + 0.5 + 0 + 0.774 + 0.712 = 2.986**

**IDCG@20:** Все еще **4.192** (идеальное ранжирование)

**NDCG@20 = 2.986 / 4.192 = 0.712** ✗

Как видите, неправильный порядок (запланированные выше прочитанных) **сильно снижает** метрику, даже если все книги найдены.



---



## 6. Условия соревнования



### 6.1. Проверка и лидерборд

- **Публичный лидерборд (Public):** Рассчитывается на видимой части тестовых данных. Результат обновляется после каждой успешной отправки решения.
- **Приватный лидерборд (Private):** Рассчитывается на скрытой части тестовых данных. Финальные результаты соревнования определяются исключительно по этому лидерборду.
- **Лимиты:** Устанавливается ограничение на количество отправок в сутки и на весь этап. Точные значения будут указаны на странице соревнования.

### 6.2. Ограничения

- Запрещено использовать любые внешние данные и предварительно обученные модели, за исключением общедоступных (например, для обработки текста).
- Решение должно быть полностью автономным и не требовать доступа к сети Интернет во время работы.

Подробнее см. Правила участия

Public

Данные

НТО 25-26 этап 2 Командная задача

Predictions

НТО 25-26 этап 2 Индивидуальная задача

Соревнование

2 этап. Индивидуальная задача. Профиль ИИ НТО 2025-2026

2 этап. Командная задача. Профиль ИИ НТО 2025-2026

Сфера искусственного интеллекта становится всё ближе каждому из нас. Сегодня ИИ помогает не только в науке и бизнесе, но и в повседневной жизни &mdash; подбирает фильмы, музыку и книги, которые действительно интересны пользователю.

Одним из ключевых направлений развития технологий стали рекомендательные системы. Они анализируют данные о предпочтениях и помогают сделать взаимодействие человека с цифровыми сервисами более персонализированным.

В этом году профиль по искусственному интеллекту предлагает участникам погрузиться в задачу построения рекомендательной модели, способной предсказать, какую оценку пользователь поставит книге. Эта работа позволит понять, как данные превращаются в осмысленные рекомендации и как ИИ делает пользовательский опыт удобнее и умнее.

Ты сможешь:

<ul>
	<li>узнать больше об искусственном интеллекте на образовательных интенсивах;</li>
	<li>закрепить свои знания на практике;</li>
	<li>пополнить свое портфолио проектов с применением ИИ;</li>
	<li>познакомиться с единомышленниками и найти партнера для своего проекта.&nbsp;</li>
</ul>

Победа в профиле дает:

<ul>
	<li>денежный сертификат на образование &mdash; призовой фонд 4 миллиона рублей;</li>
	<li>приглашение на стажировку в Сбер;</li>
	<li>возможность поступить в ведущие технические вузы.</li>
</ul>

FeaturedBanner-781b439a

Канал в телеграм

FeaturedBanner-166ce385

Чат в телеграм

FeaturedBanner-46edd11f

Материалы летнего буткемпа «Вектор ИИ»

FeaturedBanner-d5a8ab15

Материалы осеннего буткемпа «Вектор ИИ»

FeaturedBanner-a36138eb

Материалы онлайн-курса по машинному обучению

Совместный профиль «Искусственный интеллект» Национальной технологической олимпиады (НТО) и Академии искусственного интеллекта для школьников Благотворительного фонда Сбербанка «Вклад в будущее».

Профиль «Искусственный интеллект» НТО 2025-2026

DB - XXX19

faygo

Левиафаны

ИН ТИМ КАМ БАК

Hyper-Trained Model Legion

AGImeister

Overfit and Underfit

инТРИГА

FeelTheLeacks

Мистер Нет или Как я перестал бояться и полюбил ИИ

#	Teams (190)	NTO 25 mean_ndcg	Last	Entries
1	DB - XXX19	0.9646924829	4m	44
2	faygo	0.9601366743	4m	23
3	Левиафаны	0.9428167446	4m	93
4	ИН ТИМ КАМ БАК	0.9422255216	4m	32
5	Hyper-Trained Model Legion	0.9346470433	4m	75
6	AGImeister	0.9333835513	4m	82
7	Overfit and Underfit	0.9303396527	4m	48
8	инТРИГА	0.9263290815	4m	66
9	FeelTheLeacks	0.9258822179	4m	49
10	Мистер Нет или Как я перестал бояться и полюбил ИИ	0.925241304	4m	30
11	просто в соло	0.9239241216	4m	39
12	ради люБВИ	0.9235982704	4m	28
13	TL depAI	0.9208113698	4m	38
14	4tuna	0.9177935321	4m	59
15	Раскруточка	0.9165033827	4m	26
16	48283 конфликтов слияния	0.9160121261	4m	24
17	предпоследняя надежда сибири	0.9157640367	4m	90
18	мячи и бутса	0.9157257592	4m	100
19	Рыбалка FM	0.9147378112	4m	35
20	круглый тензор	0.9143067494	4m	45
21	не интеллект	0.9137789093	4m	22
22	Finitron	0.9130967057	4m	53
23	амнезия	0.912770514	4m	63
24	Data Kuduro	0.9124609978	4m	13
25	чAIевничаем с БВИ	0.911803456	4m	48
26	свидетели transformerov	0.9109439117	4m	27
27	np nan	0.9100547167	4m	46
28	ELABS	0.9098372683	4m	46
29	feel the dense	0.9092547611	4m	62
30	узники ML	0.9073815225	4m	10
31	Мастера ручной разметки	0.906939865	4m	47
32	t1004	0.9062009687	4m	19
33	Ради люБВИ	0.902639092	4m	8
34	кто	0.9019762339	4m	19
35	Ishaks Tribe	0.9017466518	4m	12
36	feel the agi	0.8968727597	4m	74
37	Stardust Crusaders	0.8962403982	4m	71
38	како	0.8947646694	4m	87
39	Theta	0.8942284851	4m	31
40	ICEQ	0.8917316521	4m	31
41	Delavr	0.89056839	4m	65
42	KFCBooost	0.8894234537	4m	46
43	Лайн для крутых	0.8879217037	4m	62
44	Антаетлд	0.8857917664	4m	40
45	Зеленый куст	0.8821704248	4m	43
46	Веб	0.8686034429	4m	29
47	ру хололайв	0.8660822099	4m	44
48	ASAIRO	0.8659730742	4m	23
49	Mixture of Experts	0.8656926284	4m	41
50	baseline	0.8624214737	4m	27