FeaturedBanner-4eefdf1d

Группа в ВК

**Принимая участие в соревновании, вы соглашаетесь с [Правилами участия](https://disk.yandex.ru/i/lacDKE6nmE_OXg).**

## Описание задачи

В 2026 году Омск носит статус **Культурной столицы России**. В городе проходят сотни спортивных, культурных и общественных событий, каждое из них по-разному отражается в СМИ. Одни публикации остаются почти незамеченными, другие получают широкий резонанс. При планировании
информационного сопровождения мероприятий важно заранее понимать и оценивать, **насколько заметной** окажется та или иная публикация.

Сервисы медиамониторинга (например, «Медиалогия») оценивают каждую публикацию числом — **заметностью**. Чем выше значение, тем сильнее публикация «звучит» в медиаполе. Но заметность сильно зависит от **издания**. Материал в крупном СМИ почти всегда заметнее заметки
в районной газете, и это не заслуга текста. Поэтому в задаче предлагается предсказывать **нормированную заметность**: насколько публикация заметнее **обычной для своего же издания**. Так название СМИ перестаёт быть «ярлыком», и выигрывает тот, кто лучше извлекает сигнал из **содержания**.

Участникам предлагается построить модель, которая по основной информации о публикации (заголовок, лид статьи и издание) предсказывает её нормированную заметность. Это задача обработки естественного
языка (NLP) и регрессии. Решение должно работать на ресурсах центрального процессора без использования мощностей видеокарт.

## Метрика

Качество оценивается [**модулем коэффициента ранговой корреляции Спирмена**](https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.spearmanr.html) между предсказанной и истинной нормированной заметностью:

$$
\mathrm{score} = \left|\operatorname{corr}\big(\operatorname{rank}(y_{\text{true}}),\ \operatorname{rank}(y_{\text{pred}})\big)\right|
$$

- значение лежит в диапазоне от 0 до 1, **выше — лучше**;
- метрика смотрит на **порядок** публикаций по заметности, а не на абсолютные значения, поэтому
  устойчива к скосу распределения и выбросам;
- константные предсказания допустимы, но не содержат ранжирующего сигнала и получают значение 0.0.

Метрика считается **автоматически** при отправке решения. При этом тест
делится на **публичную** (виден предварительный результат в лидерборде) и **приватную** (определяет итоговые места) части.

## Данные

Набор данных собран на основе мониторинга публикаций об омских событиях. Каждая строка соответствует одной публикации в СМИ.

Файлы:

| Файл | Назначение |
|------|------------|
| `train.csv` | обучающая выборка с известной заметностью |
| `test.csv` | тестовая выборка без заметности, на ней делаются предсказания |
| `sample_submission.csv` | пример файла с предсказаниями |

Колонки:

- `id` — уникальный идентификатор публикации;
- `title` — заголовок публикации;
- `text` — лид статьи (первые 500 символов);
- `date` — дата публикации;
- `outlet` — издание (СМИ), где вышла публикация;
- `target` — **нормированная заметность** (только в `train.csv`; это и есть целевая переменная).

`target` — это z-оценка заметности **внутри каждого издания**: насколько публикация заметнее типичной для своего СМИ. У любого издания среднее `target` равно нулю, поэтому угадать значение просто по названию издания нельзя, нужен текст.

Особенности данных, о которых стоит знать:

- выборки разделены **по времени**: тест — это публикации, вышедшие позже обучающих;
- тело статьи **намеренно обрезано до лида**: так заметность нельзя угадать просто по длине статьи, решает именно содержание;
- название издания (`outlet`) выдаётся как признак, но **само по себе не помогает**: целевой признак нормирован внутри издания.

## Baseline (базовое решение)

Этот baseline **специально сделан простым** и служит примером организации конвейера обработки данных. Решение протестировано с применением интерпретатора Python 3.12.4.

baseline

## Формат решения

На проверку отправляется CSV-файл с двумя колонками: `id` и `predict`. Каждая строка представлена в виде пары «идентификатор публикации из `test.csv`» и «предсказанная нормированная заметность». Файл должен покрывать **все** `id` из `test.csv`.

Абсолютные значения не важны сами по себе, поскольку метрика смотрит на порядок. Важно **правильно ранжировать** публикации.

sample_submission

## Правила использования данных и ресурсов

- **Решение на CPU,** значит тяжёлые внешние сервисы и платные API использовать не нужно.
- **Разрешается** использовать открытые ресурсы со свободной некоммерческой лицензией: предварительно обученные эмбеддинги/модели, корпуса для обучения векторов, лексиконы тональности и т.п.
- **Запрещено** пытаться «подсмотреть» истинную заметность тестовых публикаций во внешних сервисах медиамониторинга или вручную размечать тест. Оценивается именно предсказание по тексту.

Приватный обмен идеями (private sharing), решениями и кодом между участниками **запрещён**. В случае обнаружения этого факта, все причастные решения аннулируются.

Задача хакатона — научить модель предсказывать, какие новости Омска окажутся наиболее популярными. Её подготовили преподаватели кафедры «Прикладная математика и фундаментальная информатика» ОмГТУ!

Public

Данные

Agreement

Я согласен(-на) с <a href="https://storage.yandexcloud.net/ds-ods/files/data/docs/odsaifooter/Service_agreement.pdf">Соглашением об услугах</a>. Обработка персональных данных Участников Активностей производится на основании Соглашения об услугах.

You have reached the registration page for the &quot;City Pulse&quot; Hackathon organized by the AI Academy.&nbsp;When registering, please use the same email address that you used to register on&nbsp;<a href="https://ai-academy.ru/" rel="noreferrer" target="_blank">ai-academy.ru</a>.

first_name_ru

First Name

last_name_ru

Last name

middle_name_ru

Middle name

email_puls

Email (Please use the same email address that you used to register on ai-academy.ru)

phone

Phone

Track_puls

Track

City

Study_puls

Educational organization

Course_puls

Class or course

Registration application for Хакатон «Пульс города» от Академии ИИ

Хакатон «Пульс города» от Академии ИИ: призовой фонд – 1 000 000 рублей.

Predictions

## Описание данных

- **`train.csv`** — обучающая выборка с разметкой. Колонки: `id`, `title`, `text`, `date`, `outlet`, `target`.
- **`test.csv`** — тестовые данные, на которых нужно сделать предсказания `predict`. Колонки: `id`, `title`, `text`, `date`, `outlet`.
- **`sample_submission.csv`** — пример файла с предсказаниями (колонки `id`, `predict`); во всех строках подставлено одно значение.
- **`baseline.ipynb`** — Jupyter-ноутбук с начальным решением (протестировано с применением интерпретатора Python 3.12.4).

## Описание колонок

| Колонка | Тип | Описание |
|---------|-----|----------|
| `id` | int | Уникальный идентификатор публикации |
| `title` | str | Заголовок публикации |
| `text` | str | Лид статьи — первые 500 символов |
| `date` | date | Дата публикации (YYYY-MM-DD) |
| `outlet` | str | Издание (СМИ), где вышла публикация |
| `target` | float | **Нормированная заметность — целевая переменная** (только в `train.csv`) |

## Целевая переменная

`target` — это заметность, нормированная **внутри каждого издания** (z-оценка по изданию отдельно
в train и test):

$$
\text{target} = \frac{\text{visibility} - \mu_{\text{издание}}}{\sigma_{\text{издание}}}
$$

Колонка	Тип	Описание
`id`	int	Уникальный идентификатор публикации
`title`	str	Заголовок публикации
`text`	str	Лид статьи — первые 500 символов
`date`	date	Дата публикации (YYYY-MM-DD)
`outlet`	str	Издание (СМИ), где вышла публикация
`target`	float	Нормированная заметность — целевая переменная (только в `train.csv`)