FeaturedBanner-2edf16da

Хаб

FeaturedBanner-fe181984

Чат соревнования

FeaturedBanner-7dde9765

Доска AI объявлений, tg канал AvitoTech

FeaturedBanner-c2ee0de1

ТГ канал разработчика соревнования

# Постановка задачи

В этом соревновании нужно отобрать наиболее релевантные объявления, с которыми пользователь проконтактирует. При этом важно соблюсти баланс между вертикалями каталога (всего 8 анонимизированных значений `vertical_id`): модель должна удерживать качество сразу во всех категориях, а не выигрывать только за счёт одной вертикали.

Для обучения предоставлены обезличенные действия пользователей на площадке Авито за **период с 21 января 2026 по 22 апреля 2026**. Все исходные идентификаторы (`user_id`, `item_id`, `eid`, `vertical_id`) анонимизированы.

Датасет разделён по дате:

- **train** — все события раньше `2026-04-15 00:00:00`, используются для обучения (~5 млрд событий).
- **gap** — `2026-04-15 00:00:00` — `2026-04-15 12:00:00` (12 часов), события из этого окна **не используются ни в train, ни в eval**.
- **eval** — контактные события с `2026-04-15 12:00:00` по `2026-04-22` для **94 408 пользователей**, используются как таргет для проверки качества.

Для каждого пользователя из eval-выборки нужно предсказать до **160 уникальных** `item_id`, с которыми он проконтактирует в период eval.

# Формат решений

Решение загружается в виде CSV-файла с двумя колонками — `user_id` и `item_id`. Одна строка — одна пара *(пользователь, объявление)*.

```
user_id,item_id
12,8345
12,91024
12,12
77,553
77,91024
...
```

Ограничения на файл:

- максимум **160** строк на одного `user_id` (Recall@160);
- все пары `(user_id, item_id)` должны быть уникальны — дубликаты считаются ошибкой валидации;
- `user_id` должны принадлежать eval-выборке (см. `eval_users.csv`), `item_id` — множеству из `item_features.parquet`;
- порядок строк не важен — все 160 кандидатов оцениваются равнозначно;
- для пользователей, которых нет в файле решения, метрика на их таргетах считается как 0.

# Проверка решений

Качество предсказаний оценивается метрикой **Recall@160**, усреднённой по пользователям eval-выборки:

```
recall_u = |predicted_u ∩ targets_u| / |targets_u|
Recall@160 = mean over users u of recall_u
```

Где `targets_u` — это множество объявлений, с которыми пользователь *u* реально проконтактировал в eval-периоде (см. раздел «Как собирается eval»), а `predicted_u` — его кандидаты из сабмита (не более 160).

Лидерборд разделён на **Public** и **Private**:

- Public и Private — это **непересекающиеся** подмножества пользователей eval-выборки, поделённые **детерминированным хэшем от `(user_id, bucket)`** в пропорции **20% / 80%** *внутри каждого бакета* (вертикального и holdout). Стратификация гарантирует, что каждая вертикаль и каждый holdout-пул внесли пропорциональный вклад и в Public, и в Private.
- Во время соревнования участники видят только Public-метрику; Private раскрывается по окончании и определяет итоговое место.

Для оффлайн-валидации можно использовать **готовый скрипт `prepare_local_eval.py`** (см. раздел «Локальная валидация»).

# Как собирается eval

Eval-таргет собирается из реальных контактных событий пользователей в период с `2026-04-15 12:00:00` по `2026-04-22`. Баланс по вертикалям достигается через **квоты по бакетам**: 5 вертикальных + 5 holdout, **до 10 000 пользователей в каждом**.

1. Из полного кликстрима берутся события с `timestamp ≥ 2026-04-15 12:00:00` (12-часовой gap после train).
2. Остаются только **контактные события** — `eid` из `contact_eids.csv`.
3. Применяются три фильтра по таргет-объявлениям:
   - `item_id` встречается в train у **≥ 2 разных пользователей**;
   - `(user_id, item_id)` **отсутствует в train-истории пользователя** (anti-join — eval-таргет должен быть «новой» рекомендацией, а не повторным контактом по уже увиденному объявлению);
   - `item_id` входит в `item_features.parquet`.
4. Получившиеся пользователи группируются в 10 непересекающихся бакетов:
   - 5 вертикальных бакетов **до 10 000 пользователей в каждом** с **≥90% уникальных train-объявлений в одной вертикали**. Бакеты используют 6 из 8 анонимизированных `mapped_vertical_id`: `v0`={0}, `v2`={2}, `v3`={3}, `v4`={4}, `v57`={5, 7} (id 5 и 7 объединены в один бакет). `mapped_vertical_id` 1 и 6 — в eval не входят;
   - 5 holdout-бакетов (h0..h4) — по 10 000 пользователей в каждом, случайно сэмплируются из тех пользователей, кто не попал ни в один из вертикальных бакетов.
5. Для каждого пользователя из бакета берутся **первые 160 уникальных `item_id`** по времени — эта длина совпадает с лимитом сабмита (Recall@160).
6. Полученный плоский список пар *(user_id, item_id)* делится на Public и Private per-bucket хэшем 20/80 — сами файлы участникам не выдаются.

Концептуально пайплайн (без literal-путей — пост-threshold кликстрим участникам не публикуется):

```python
# 1. Items с >=2 уникальными пользователями в train
train_items_2u = train.group_by("item_id").agg(...).filter(n_users >= 2)

# 2. (user, item) пары, виденные в train — для anti-join
seen_in_train = train.select(["user_id", "item_id"]).unique()

# 3. Eval-кандидаты:
#       timestamp >= EVAL_START_MS  (после 12h gap, начало 2026-04-15 12:00 MSK)
#       eid ∈ contact_eids
#       item_id ∈ train_items_2u
#       (user_id, item_id) ∉ seen_in_train
candidates = post_threshold_clickstream  \
    .filter(...).join(train_items_2u).join(seen_in_train, how="anti")

# 4. Бакетинг 5 vertical (до 10k каждый) + 5 holdout × 10k → 94 408 пользователей.
# 5. Первые K=160 уникальных контактных item_id на пользователя по timestamp.
```

Полностью **runnable** версия этого же пайплайна (но на синтетическом split *внутри* train) — это `prepare_local_eval.py` (см. раздел «Локальная валидация»). Если нужно своими руками воспроизвести логику оффициального eval — изучайте именно его, постановка фильтров идентичная.

История этих 94 408 пользователей **до** `2026-04-15 00:00:00` доступна отдельно в `eval_user_events.pq` — её можно свободно использовать для инференса и обучения: это не таргет, а история пользователя на момент предсказания.

# Локальная валидация

Чтобы экспериментировать с моделью без расхода квоты сабмитов, опубликован готовый скрипт **`prepare_local_eval.py`**, который собирает «искусственный» eval *внутри* train-периода с тем же набором фильтров:

```bash
python prepare_local_eval.py \
    --train data/train.parquet \
    --item-features data/item_features.parquet \
    --contact-eids data/contact_eids.csv \
    --out data/local_eval.csv
# ...затем тренируйте модель только на событиях с timestamp < 2026-04-08 00:00:00,
# предсказывайте 160 кандидатов на пользователя в local_eval.csv,
# скоррируйте через bin/datafest_2026_v2/calc_metric.py
```

CLI принимает только пути к данным и `--synth-threshold` (по умолчанию `2026-04-08 00:00:00` — на неделю раньше реальной). Остальные параметры зашиты в скрипт как константы и совпадают с официальной спецификацией: 12h gap, K=160, ≥2 users per item, 0.9 vertical threshold, бакетинг `v0/v2/v3/v4/v57`+5 holdout по 10 000 пользователей. Скрипт пишет два файла: `local_eval.csv` (для `calc_metric.py`) и `local_eval_users.csv` (`user_id → bucket` — для per-bucket анализа Recall@160).

# Бейзлайны

Эталонный простейший бейзлайн — **Popular**: [popular.py](https://storage.yandexcloud.net/datafest2026/datafest_2026_v2_v4/popular.py). Запускается одной командой и выдаёт валидный сабмит за ~10 секунд:

```bash
python popular.py \
    --eval-user-events data/eval_user_events.pq \
    --item-features data/item_features.parquet \
    --eval-users data/eval_users.csv \
    --out submission_popular.csv
```

Что считается: топ-160 самых частых `item_id` в pre-threshold истории eval-пользователей, ограничено вертикалями `{0, 2, 3, 4, 5, 7}` (то есть используемыми в eval-бакетах). Один и тот же список для всех 94 408 пользователей.

<h2><strong>Информация для участников</strong></h2>

<p>Участники могут объединяться в команды до 4 человек.</p>

<p>Канал общения и обсуждения между участниками всех вопросов &mdash; <a href="https://t.me/+CoMfO8J2F8w4MzQy" rel="noopener noreferrer" target="_blank">https://t.me/+CoMfO8J2F8w4MzQy</a>&nbsp;</p>

<p>Период выбора итоговых решений до 12:00 (по московскому времени) 27 мая 2026</p>

<h2><strong>Задача соревнования</strong></h2>

<p>Задачей является предсказание актуальных для пользователя объявлений на основании истории пользователя и метаинформации о нем и объявлениях. Участникам необходимо определить с какими объявления пользователь вероятнее всего проконтактирует.</p>

<h2><strong>Правила участия</strong></h2>

<p>Ознакомиться с <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/AvitoTechMLCup2026/%D0%901_Rules_Avito_tech_ML_2026.docx.pdf" rel="noopener noreferrer" target="_blank">Правилами участия в соревновании AvitoTech ML cup 2026</a></p>

<h2><strong>Проверка решений</strong></h2>

<ul>
	<li>Решения проверяются автоматически. Запуск происходит на полностью закрытых тестовых данных, которые не передаются участникам.</li>
	<li>На лидерборде рейтинг участников будет рассчитываться по Public подвыборке ответов из тестовых данных. Финальные метрики будут рассчитаны на Private подвыборке. Отношение Public/Private - 20/80.</li>
	<li>Кол-во сабмитов в день: 5</li>
	<li>Метрика соревнования &mdash; Recall@160</li>
</ul>

<h2><strong>Данные</strong></h2>

<p>Все файлы и их описание вы найдете во вкладке &ldquo;Данные&rdquo; после старта соревнований</p>

<h2><strong>Призовой фонд</strong></h2>

<p>1 место - 300 000 рублей</p>

<p>2 место - 250 000 рублей</p>

<p>3 место - 200 000 рублей</p>

Участникам предстоит предсказать наиболее релевантные объявления для пользователей Авито

Public

Private

Данные

Agreement_services

<p>Я согласен(-на) с <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/odsaifooter/20250312_Service_agreement_ODSai.pdf">Соглашением об услугах</a>. Обработка персональных данных Участников Активностей производится на основании Соглашения об услугах).</p>

Rules

<p>Нажимая &quot;Отправить&quot; я соглашаюсь с условиями <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/AvitoTechMLCup2026/%D0%901_Rules_Avito_tech_ML_2026.docx.pdf">Правил проведения онлайн-соревнования&nbsp;</a></p>

<p>Благодарим за интерес к соревнованию!</p>

<p>Заполните, пожалуйста, форму ниже.</p>

<p>Согласия, отмеченные&nbsp; (*) - обязательные.</p>

first_name

First name

last_name

Last name

email

Email

tg_name

Your telegram nickname

country

Country (lat)

city

City (lat)

Occupation

Experience

Experience in DC

study_place2

Company/study place name

referral

How did you know about the competition?

Registration application for AvitoTech ML CUP 2026

AvitoTech ML CUP 2026

Predictions

Кротовуха

road to 020093005

CAPITAN DaTASciencA

insuperabilehart

HogwartsTeam

Vladimir Bazhenov

Nikita Kocherin

AI_Nikitka93

steveblowjobs

Alexander Alexeev

Lenya Grigorenko

Maksim Kuzin

fle3n

Kirill Makhankov

fsociety

67 crewmates

Lev Livshits

Nikita Stepochkin

Konstantin Zorin

ЧЕРЕМША ИДЕТ

GPT 10

s695b49750834

t9e06ae9b388f

Ришат Зиннатуллин

Mikhail Sobolev

Aleksandr Glazkov

Claude thats all u need

Bebryata

Danil L

amur the vesno

Asgat Akmaev

Eva E

Мбаппе Диктатор

ahahah

AiRina

Maria Pozdeeva

Ivan Bragin

Vladislav Novikov

Artem Khimin

Stanislav Chistyakov

Ищу жену

Kirill Bratsun

masha adiukova

arseniy barabanov

Pavel Baidaus

Denis Akhrameev

rob31337

vlvova

vgrushev

Recall@160

#	Teams (272)	Recall@160	Last	Entries
1	Кротовуха	0.1765366018	5m	38
2	road to 020093005	0.1732528823	5m	19
3	CAPITAN DaTASciencA	0.1673978988	5m	8
4	insuperabilehart	0.1672496823	5m	34
OOC	HogwartsTeam	0.1577396346	5m	11
5	Vladimir Bazhenov	0.1479189515	5m	51
6	Nikita Kocherin	0.1373347913	5m	89
7	AI_Nikitka93	0.1324806317	5m	19
8	steveblowjobs	0.1292330074	5m	24
9	Alexander Alexeev	0.124504171	5m	14
10	Lenya Grigorenko	0.1242908528	5m	22
11	Maksim Kuzin	0.1232035914	5m	9
12	fle3n	0.1172366072	5m	78
13	Kirill Makhankov	0.1158292624	5m	7
14	fsociety	0.1099569552	5m	31
15	67 crewmates	0.1073766818	5m	2
16	popular	0.1071827223	5m	16
17	Lev Livshits	0.1068979022	5m	8
18	Nikita Stepochkin	0.1065928153	5m	18
19	Konstantin Zorin	0.1055539514	5m	10
20	ЧЕРЕМША ИДЕТ	0.105386173	5m	24
21	GPT 10	0.10387827	5m	18
22	s695b49750834	0.1038733099	5m	3
23	t9e06ae9b388f	0.0985871875	5m	75
24	Ришат Зиннатуллин	0.0969067872	5m	14
25	Mikhail Sobolev	0.0965820503	5m	2
26	Aleksandr Glazkov	0.0959404828	5m	25
27	Claude thats all u need	0.0936394188	5m	11
28	Bebryata	0.0915157122	5m	8
29	Danil L	0.0906439281	5m	19
30	amur the vesno	0.0904970712	5m	16
31	Asgat Akmaev	0.0902611748	5m	18
32	Eva E	0.0869528829	5m	2
33	Мбаппе Диктатор	0.0859333584	5m	10
34	ahahah	0.0843103541	5m	49
35	AiRina	0.084299841	5m	63
36	Maria Pozdeeva	0.084235595	5m	9
37	Ivan Bragin	0.0831791677	5m	3
38	Vladislav Novikov	0.0819683686	5m	14
39	Artem Khimin	0.0809000079	5m	23
40	Stanislav Chistyakov	0.0806445763	5m	7
41	Ищу жену	0.0802057583	5m	31
42	Kirill Bratsun	0.0786224393	5m	5
43	masha adiukova	0.0784195043	5m	14
44	arseniy barabanov	0.0765183933	5m	8
45	Pavel Baidaus	0.0764680547	5m	38
46	Denis Akhrameev	0.0763890942	5m	12
47	rob31337	0.0746368884	5m	15
48	vlvova	0.0744709903	5m	10
49	vgrushev	0.0743128293	5m	15