FeaturedBanner-2edf16da

Хаб

FeaturedBanner-fe181984

Чат соревнования

FeaturedBanner-7dde9765

Доска AI объявлений, tg канал AvitoTech

FeaturedBanner-c2ee0de1

ТГ канал разработчика соревнования

# Постановка задачи

В этом соревновании нужно отобрать наиболее релевантные объявления, с которыми пользователь проконтактирует. При этом важно соблюсти баланс между вертикалями каталога (всего 8 анонимизированных значений `vertical_id`): модель должна удерживать качество сразу во всех категориях, а не выигрывать только за счёт одной вертикали.

Для обучения предоставлены обезличенные действия пользователей на площадке Авито за **период с 21 января 2026 по 22 апреля 2026**. Все исходные идентификаторы (`user_id`, `item_id`, `eid`, `vertical_id`) анонимизированы.

Датасет разделён по дате:

- **train** — все события раньше `2026-04-15 00:00:00`, используются для обучения (~5 млрд событий).
- **gap** — `2026-04-15 00:00:00` — `2026-04-15 12:00:00` (12 часов), события из этого окна **не используются ни в train, ни в eval**.
- **eval** — контактные события с `2026-04-15 12:00:00` по `2026-04-22` для **94 408 пользователей**, используются как таргет для проверки качества.

Для каждого пользователя из eval-выборки нужно предсказать до **160 уникальных** `item_id`, с которыми он проконтактирует в период eval.

# Формат решений

Решение загружается в виде CSV-файла с двумя колонками — `user_id` и `item_id`. Одна строка — одна пара *(пользователь, объявление)*.

```
user_id,item_id
12,8345
12,91024
12,12
77,553
77,91024
...
```

Ограничения на файл:

- максимум **160** строк на одного `user_id` (Recall@160);
- все пары `(user_id, item_id)` должны быть уникальны — дубликаты считаются ошибкой валидации;
- `user_id` должны принадлежать eval-выборке (см. `eval_users.csv`), `item_id` — множеству из `item_features.parquet`;
- порядок строк не важен — все 160 кандидатов оцениваются равнозначно;
- для пользователей, которых нет в файле решения, метрика на их таргетах считается как 0.

# Проверка решений

Качество предсказаний оценивается метрикой **Recall@160**, усреднённой по пользователям eval-выборки:

```
recall_u = |predicted_u ∩ targets_u| / |targets_u|
Recall@160 = mean over users u of recall_u
```

Где `targets_u` — это множество объявлений, с которыми пользователь *u* реально проконтактировал в eval-периоде (см. раздел «Как собирается eval»), а `predicted_u` — его кандидаты из сабмита (не более 160).

Лидерборд разделён на **Public** и **Private**:

- Public и Private — это **непересекающиеся** подмножества пользователей eval-выборки, поделённые **детерминированным хэшем от `(user_id, bucket)`** в пропорции **20% / 80%** *внутри каждого бакета* (вертикального и holdout). Стратификация гарантирует, что каждая вертикаль и каждый holdout-пул внесли пропорциональный вклад и в Public, и в Private.
- Во время соревнования участники видят только Public-метрику; Private раскрывается по окончании и определяет итоговое место.

Для оффлайн-валидации можно использовать **готовый скрипт `prepare_local_eval.py`** (см. раздел «Локальная валидация»).

# Как собирается eval

Eval-таргет собирается из реальных контактных событий пользователей в период с `2026-04-15 12:00:00` по `2026-04-22`. Баланс по вертикалям достигается через **квоты по бакетам**: 5 вертикальных + 5 holdout, **до 10 000 пользователей в каждом**.

1. Из полного кликстрима берутся события с `timestamp ≥ 2026-04-15 12:00:00` (12-часовой gap после train).
2. Остаются только **контактные события** — `eid` из `contact_eids.csv`.
3. Применяются три фильтра по таргет-объявлениям:
   - `item_id` встречается в train у **≥ 2 разных пользователей**;
   - `(user_id, item_id)` **отсутствует в train-истории пользователя** (anti-join — eval-таргет должен быть «новой» рекомендацией, а не повторным контактом по уже увиденному объявлению);
   - `item_id` входит в `item_features.parquet`.
4. Получившиеся пользователи группируются в 10 непересекающихся бакетов:
   - 5 вертикальных бакетов **до 10 000 пользователей в каждом** с **≥90% уникальных train-объявлений в одной вертикали**. Бакеты используют 6 из 8 анонимизированных `mapped_vertical_id`: `v0`={0}, `v2`={2}, `v3`={3}, `v4`={4}, `v57`={5, 7} (id 5 и 7 объединены в один бакет). `mapped_vertical_id` 1 и 6 — в eval не входят;
   - 5 holdout-бакетов (h0..h4) — по 10 000 пользователей в каждом, случайно сэмплируются из тех пользователей, кто не попал ни в один из вертикальных бакетов.
5. Для каждого пользователя из бакета берутся **первые 160 уникальных `item_id`** по времени — эта длина совпадает с лимитом сабмита (Recall@160).
6. Полученный плоский список пар *(user_id, item_id)* делится на Public и Private per-bucket хэшем 20/80 — сами файлы участникам не выдаются.

Концептуально пайплайн (без literal-путей — пост-threshold кликстрим участникам не публикуется):

```python
# 1. Items с >=2 уникальными пользователями в train
train_items_2u = train.group_by("item_id").agg(...).filter(n_users >= 2)

# 2. (user, item) пары, виденные в train — для anti-join
seen_in_train = train.select(["user_id", "item_id"]).unique()

# 3. Eval-кандидаты:
#       timestamp >= EVAL_START_MS  (после 12h gap, начало 2026-04-15 12:00 MSK)
#       eid ∈ contact_eids
#       item_id ∈ train_items_2u
#       (user_id, item_id) ∉ seen_in_train
candidates = post_threshold_clickstream  \
    .filter(...).join(train_items_2u).join(seen_in_train, how="anti")

# 4. Бакетинг 5 vertical (до 10k каждый) + 5 holdout × 10k → 94 408 пользователей.
# 5. Первые K=160 уникальных контактных item_id на пользователя по timestamp.
```

Полностью **runnable** версия этого же пайплайна (но на синтетическом split *внутри* train) — это `prepare_local_eval.py` (см. раздел «Локальная валидация»). Если нужно своими руками воспроизвести логику оффициального eval — изучайте именно его, постановка фильтров идентичная.

История этих 94 408 пользователей **до** `2026-04-15 00:00:00` доступна отдельно в `eval_user_events.pq` — её можно свободно использовать для инференса и обучения: это не таргет, а история пользователя на момент предсказания.

# Локальная валидация

Чтобы экспериментировать с моделью без расхода квоты сабмитов, опубликован готовый скрипт **`prepare_local_eval.py`**, который собирает «искусственный» eval *внутри* train-периода с тем же набором фильтров:

```bash
python prepare_local_eval.py \
    --train data/train.parquet \
    --item-features data/item_features.parquet \
    --contact-eids data/contact_eids.csv \
    --out data/local_eval.csv
# ...затем тренируйте модель только на событиях с timestamp < 2026-04-08 00:00:00,
# предсказывайте 160 кандидатов на пользователя в local_eval.csv,
# скоррируйте через bin/datafest_2026_v2/calc_metric.py
```

CLI принимает только пути к данным и `--synth-threshold` (по умолчанию `2026-04-08 00:00:00` — на неделю раньше реальной). Остальные параметры зашиты в скрипт как константы и совпадают с официальной спецификацией: 12h gap, K=160, ≥2 users per item, 0.9 vertical threshold, бакетинг `v0/v2/v3/v4/v57`+5 holdout по 10 000 пользователей. Скрипт пишет два файла: `local_eval.csv` (для `calc_metric.py`) и `local_eval_users.csv` (`user_id → bucket` — для per-bucket анализа Recall@160).

# Бейзлайны

Эталонный простейший бейзлайн — **Popular**: [popular.py](https://storage.yandexcloud.net/datafest2026/datafest_2026_v2_v4/popular.py). Запускается одной командой и выдаёт валидный сабмит за ~10 секунд:

```bash
python popular.py \
    --eval-user-events data/eval_user_events.pq \
    --item-features data/item_features.parquet \
    --eval-users data/eval_users.csv \
    --out submission_popular.csv
```

Что считается: топ-160 самых частых `item_id` в pre-threshold истории eval-пользователей, ограничено вертикалями `{0, 2, 3, 4, 5, 7}` (то есть используемыми в eval-бакетах). Один и тот же список для всех 94 408 пользователей.

<h2><strong>Информация для участников</strong></h2>

<p>Участники могут объединяться в команды до 4 человек.</p>

<p>Канал общения и обсуждения между участниками всех вопросов &mdash; <a href="https://t.me/+CoMfO8J2F8w4MzQy" rel="noopener noreferrer" target="_blank">https://t.me/+CoMfO8J2F8w4MzQy</a>&nbsp;</p>

<p>Период выбора итоговых решений до 12:00 (по московскому времени) 27 мая 2026</p>

<h2><strong>Задача соревнования</strong></h2>

<p>Задачей является предсказание актуальных для пользователя объявлений на основании истории пользователя и метаинформации о нем и объявлениях. Участникам необходимо определить с какими объявления пользователь вероятнее всего проконтактирует.</p>

<h2><strong>Правила участия</strong></h2>

<p>Ознакомиться с <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/AvitoTechMLCup2026/%D0%901_Rules_Avito_tech_ML_2026.docx.pdf" rel="noopener noreferrer" target="_blank">Правилами участия в соревновании AvitoTech ML cup 2026</a></p>

<h2><strong>Проверка решений</strong></h2>

<ul>
	<li>Решения проверяются автоматически. Запуск происходит на полностью закрытых тестовых данных, которые не передаются участникам.</li>
	<li>На лидерборде рейтинг участников будет рассчитываться по Public подвыборке ответов из тестовых данных. Финальные метрики будут рассчитаны на Private подвыборке. Отношение Public/Private - 20/80.</li>
	<li>Кол-во сабмитов в день: 5</li>
	<li>Метрика соревнования &mdash; Recall@160</li>
</ul>

<h2><strong>Данные</strong></h2>

<p>Все файлы и их описание вы найдете во вкладке &ldquo;Данные&rdquo; после старта соревнований</p>

<h2><strong>Призовой фонд</strong></h2>

<p>1 место - 300 000 рублей</p>

<p>2 место - 250 000 рублей</p>

<p>3 место - 200 000 рублей</p>

Участникам предстоит предсказать наиболее релевантные объявления для пользователей Авито

Public

Private

Данные

Agreement_services

<p>Я согласен(-на) с <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/odsaifooter/20250312_Service_agreement_ODSai.pdf">Соглашением об услугах</a>. Обработка персональных данных Участников Активностей производится на основании Соглашения об услугах).</p>

Rules

<p>Нажимая &quot;Отправить&quot; я соглашаюсь с условиями <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/AvitoTechMLCup2026/%D0%901_Rules_Avito_tech_ML_2026.docx.pdf">Правил проведения онлайн-соревнования&nbsp;</a></p>

<p>Благодарим за интерес к соревнованию!</p>

<p>Заполните, пожалуйста, форму ниже.</p>

<p>Согласия, отмеченные&nbsp; (*) - обязательные.</p>

first_name

First name

last_name

Last name

email

Email

tg_name

Your telegram nickname

country

Country (lat)

city

City (lat)

Occupation

Experience

Experience in DC

study_place2

Company/study place name

referral

How did you know about the competition?

Registration application for AvitoTech ML CUP 2026

AvitoTech ML CUP 2026

Predictions

Кротовуха

road to 020093005

CAPITAN DaTASciencA

insuperabilehart

HogwartsTeam

Vladimir Bazhenov

Nikita Kocherin

AI_Nikitka93

steveblowjobs

Alexander Alexeev

Lenya Grigorenko

Maksim Kuzin

fle3n

Kirill Makhankov

fsociety

67 crewmates

Lev Livshits

Nikita Stepochkin

Konstantin Zorin

ЧЕРЕМША ИДЕТ

GPT 10

s695b49750834

t9e06ae9b388f

Ришат Зиннатуллин

Mikhail Sobolev

Aleksandr Glazkov

Claude thats all u need

Bebryata

Danil L

amur the vesno

Asgat Akmaev

Eva E

Мбаппе Диктатор

ahahah

AiRina

Maria Pozdeeva

Ivan Bragin

Vladislav Novikov

Artem Khimin

Stanislav Chistyakov

Ищу жену

Kirill Bratsun

masha adiukova

arseniy barabanov

Pavel Baidaus

Denis Akhrameev

rob31337

vlvova

vgrushev

Recall@160

#	Teams (272)	Recall@160	Last	Entries
1	Кротовуха	0.1765366018	7w	38
2	road to 020093005	0.1732528823	7w	19
3	CAPITAN DaTASciencA	0.1673978988	7w	8
4	insuperabilehart	0.1672496823	7w	34
OOC	HogwartsTeam	0.1577396346	2m	11
5	Vladimir Bazhenov	0.1479189515	7w	51
6	Nikita Kocherin	0.1373347913	7w	89
7	AI_Nikitka93	0.1324806317	8w	19
8	steveblowjobs	0.1292330074	7w	24
9	Alexander Alexeev	0.124504171	8w	14
10	Lenya Grigorenko	0.1242908528	2m	22
11	Maksim Kuzin	0.1232035914	2m	9
12	fle3n	0.1172366072	7w	78
13	Kirill Makhankov	0.1158292624	2m	7
14	fsociety	0.1099569552	2m	31
15	67 crewmates	0.1073766818	7w	2
16	popular	0.1071827223	2m	16
17	Lev Livshits	0.1068979022	7w	8
18	Nikita Stepochkin	0.1065928153	2m	18
19	Konstantin Zorin	0.1055539514	2m	10
20	ЧЕРЕМША ИДЕТ	0.105386173	2m	24
21	GPT 10	0.10387827	7w	18
22	s695b49750834	0.1038733099	7w	3
23	t9e06ae9b388f	0.0985871875	7w	75
24	Ришат Зиннатуллин	0.0969067872	2m	14
25	Mikhail Sobolev	0.0965820503	8w	2
26	Aleksandr Glazkov	0.0959404828	2m	25
27	Claude thats all u need	0.0936394188	2m	11
28	Bebryata	0.0915157122	2m	8
29	Danil L	0.0906439281	2m	19
30	amur the vesno	0.0904970712	2m	16
31	Asgat Akmaev	0.0902611748	7w	18
32	Eva E	0.0869528829	7w	2
33	Мбаппе Диктатор	0.0859333584	2m	10
34	ahahah	0.0843103541	2m	49
35	AiRina	0.084299841	2m	63
36	Maria Pozdeeva	0.084235595	7w	9
37	Ivan Bragin	0.0831791677	7w	3
38	Vladislav Novikov	0.0819683686	2m	14
39	Artem Khimin	0.0809000079	7w	23
40	Stanislav Chistyakov	0.0806445763	8w	7
41	Ищу жену	0.0802057583	8w	31
42	Kirill Bratsun	0.0786224393	8w	5
43	masha adiukova	0.0784195043	2m	14
44	arseniy barabanov	0.0765183933	2m	8
45	Pavel Baidaus	0.0764680547	2m	38
46	Denis Akhrameev	0.0763890942	7w	12
47	rob31337	0.0746368884	2m	15
48	vlvova	0.0744709903	2m	10
49	vgrushev	0.0743128293	2m	15