Общие данные соревнования

Участникам доступны несколько наборов данных и артефактов, используемых в обеих задачах: 

1. Тренировочные данные клиентских транзакций в табличном .csv формате: transactions.zip (27 MB)
2. Целевая переменная для тренировочных данных train_target.csv (27 KB)
3. Предоставленная модель RNN бинарного классификатора в pickle формате model.zip (1 MB)

Сопроводительные данные для работы с данными: 

1. Словарь с расшифровкой MCC кодов транзакций mcc_codes.csv (0.2 MB)
2. Словарь с расшифровкой кодов валют транзакций currency_rk.csv (1 KB)

Материалы задачи Атака

1. Неразмеченные тестовые данные для атаки sample_submission.csv (57 MB)
2. Файл с лимитами на измененные суммы транзакций по MCC кодам quantiles.json (32 KB)
3. Пример наивного baseline решения naive_submission.csv (55 MB)
4. Архив с кодом наивного baseline решения для воспроизведения участниками naive_baseline.zip (1 MB)

Публичные решения от участников

1. Решение ShT3ch, github
2. Решение Aaasenin, github
3. Решение Kdimon15, github

Вы можете добавить свое публичное решение к списку baseline-ов соревнования в рамках номинации Companion!

Формат решений

В проверяющую систему необходимо отправить решение в табличном .csv формате. Решение должно соответствовать ряду ограничений на допустимые атаки:

1. Внесено не более 10 изменений на одного пользователя;
2. Транзакции заменяются (не добавляются, не удаляются), время транзакции не меняется;
3. Допустимые лимиты изменений: для каждого MCC кода есть границы (min-max) допустимых сумм. 
   Файл с лимитами: quantiles.json; 
4. У измененных транзакций не должен измениться знак. 
   Даже если вы поменяли и MCC код, и укладывающуюся в лимиты сумму, вам все равно необходимо удостовериться, что вы не поменяли у этой транзакции ее знак при сумме.

Проверка решений

Решения проверяются автоматически на тестовых данных, разметка которых доступна только организаторам. Соотношение public/private в соревновании составляет 50/50. Отбор для участия в первом (промежуточном) турнире происходит по public лидерборду, отбор на финальный турнир происходит по private лидеборду.

Перед запуском решений проводится проверка на соответствие ограничениям. После успешного прохождения проверки, отправленное решение проверяется на предоставленной модели  model.zip. Для участников это соревнование выглядит как табличное (классическое), но внутри проверочной системы оно является контейнерным. Решение сперва 5 минут считается на публичной части тестовых данных, после чего еще 5 минут на приватной. 

Турниры

Для участия в турнирах отбираются 10 команд, занявшие первые 10 мест на актуальном для проведения турнира лидерборде: 

• Топ-10 команд с публичного лидерборда для участия в первом (промежуточном) турнире;
• Топ-10 команд с приватного лидерборда для участия в финальном турнире.

Если ваша команда попала в список участников турнира, вам необходимо будет в течение 24 часов запустить свои выбранные 2 решения на новом турнирном наборе данных. Это отдельный набор данных, который будет передан вам представителем организаторов напрямую. В ответ вы должны будете передать до 2 своих выбранных для участия в турнире решений. Если вы не передадите свои подготовленные для турнира решения в срок, вы выбываете из турнира.

Больше информации про турниры и их механики можно найти на Турнирной странице трека.

Метрика

Для оценки качества будет использоваться разница ROC-AUC:

ROC-AUC Diff  =  ROC-AUC original  –  ROC-AUC attacked

Чем выше эта метрика, тем эффективнее проведенная вами атака модели. Смысл метрики: 

• Это урон по метрике ROC-AUC, нанесенный вашими правками в данные…
• …для модели, запущенной на этих данных…
• …по сравнению с исходными данными, если бы атаки не было. 

Глоссарий

transactions.zip – архив с транзакциями клиентов банка:

• user_id – ID клиента банка
• mcc_code - mcc код транзакции, описание в mcc_codes.csv
• currency_rk – валюта транзакции, расшифровка в currency_rk.csv
• transaction_amt – сумма в валюте транзакции
• transaction_dttm – дата и время совершения операции