Ended 10 months ago
146 participants
1346 submissions

Общие данные соревнования

Участникам доступны несколько наборов данных и артефактов, используемых в обеих задачах: 

  1. Тренировочные данные клиентских транзакций в табличном .csv формате: transactions.zip (27 MB)
  2. Целевая переменная для тренировочных данных train_target.csv (27 KB)
  3. Предоставленная модель RNN бинарного классификатора в pickle формате model.zip (1 MB)

Сопроводительные данные для работы с данными: 

  1. Словарь с расшифровкой MCC кодов транзакций mcc_codes.csv (0.2 MB)
  2. Словарь с расшифровкой кодов валют транзакций currency_rk.csv (1 KB)

Материалы задачи Защита

  1. Пример решения sample_submission.zip (1 MB
  2. Пример решения submit_defence.zip (1 MB)  

Публичные решения от участников

  1. Решение KonderLip, github
  2. Решение Blinov-89, github
  3. Решение Mitrofanov-m, github
  4. Решение Chebax, kaggle

Вы можете добавить свое публичное решение к списку baseline-ов соревнования в рамках номинации Companion!

Формат решений

В проверяющую систему необходимо отправить код алгоритма, запакованный в ZIP-архив. Решения запускаются в изолированном окружении при помощи Docker. Время и ресурсы во время тестирования ограничены. Внутрь архива также можно прикладывать файлы с уже обученными моделями.

Docker образы

 В корне архива обязательно должен быть файл metadata.json со структурой:

{
    "image": "<docker image>",
    "entry_point": "<entry point or sh script>"
}

Например:

{
    "image": "odsai/vtb23-data-fusion:0.0.1",
    "entry_point": "python -u run.py"
}

Здесь image – поле с названием docker-образа, в котором будет запускаться решение, entrypoint – команда, при помощи которой запускается скрипт инференса. Решение запускается в Docker контейнере. Вы можете воспользоваться готовым образом "odsai/vtb23-data-fusion:0.0.1". В нем предустановлены CUDA и актуальные версии Python библиотек для запуска бейзлайна. 

При желании вы можете использовать свой образ, выложив его на https://hub.docker.com. Вебинар о том, как собрать докер.

Ресурсы и ограничения для решений

  • 8 ядер CPU
  • 96Gb RAM
  • Видеокарта NVidia Tesla V100
  • 5Gb на архив с решением
  • 60 минут на работу решения
  • 5 решений в день на команду

Проверка решений

Решения проверяются автоматически на полностью закрытых тестовых данных, которые не передаются участникам. Тестовое множество не пересекается с доступными данными — оно состоит из новых данных. Соотношение public/private в соревновании составляет 50/50. Отбор для участия в первом (промежуточном) турнире происходит по public лидерборду, отбор на финальный турнир происходит по private лидеборду.

Турниры

Для участия в турнирах отбираются 10 команд, занявшие первые 10 мест на актуальном для проведения турнира лидерборде: 

  • Топ-10 команд с публичного лидерборда для участия в первом (промежуточном) турнире;
  • Топ-10 команд с приватного лидерборда для участия в финальном турнире.

Если ваша команда попала в список участников турнира, то в турнире участвуют именно выбранные вами итоговые решения. В промежуточном турнире обязательно будет участвовать ваше лучшее на публичном лидерборде решение и еще одно, которое вы можете выбрать. 

Если лучшие решения не выбраны, автоматически выбирают 2 решения с лучшими результатами на публичном лидерборде. Итоговые решения можно выбирать и изменять свой выбор на протяжении всего соревнования. Больше информации про турниры и их механики можно найти на Турнирной странице трека.

Метрика

Для оценки качества будет использоваться среднее гармоническое двух ROC-AUC:

Mean Harm ROC-AUC  =  2 / (1 / ROC-AUC original  1 / ROC-AUC attacked)

Смысл метрики в том, чтобы учесть компромисс между повышением защищенности модели, посчитав ROC-AUC на данных с атаками, и потенциальным снижением качества модели, посчитав ROC-AUC на исходных данных без атак.

Глоссарий

transactions.zip – архив с транзакциями клиентов банка:

  • user_id – ID клиента банка
  • mcc_code - mcc код транзакции, описание в mcc_codes.csv
  • currency_rk – валюта транзакции, расшифровка в currency_rk.csv
  • transaction_amt – сумма в валюте транзакции
  • transaction_dttm – дата и время совершения операции

Cookies help us deliver our services. By using our services, you agree to our use of cookies.