Data Fusion Contest 2023 - Задача 1 «Атака»

Соревнование продолжается! Регистрация открыта для участников до 2 апреля!

Правила участия

Нажимая кнопку «Участвовать» и/или «Отправить решение», вы соглашаетесь с Правилами участия в соревновании Data Fusion Contest 2023.

Постановка задачи

В вашем распоряжении каким-то образом очутилась банковская модель классификации, предсказывающая дефолт клиента. Это рекуррентная нейросеть, принимающая на вход последние 300 транзакций клиента и классифицирующая клиентов на 2 класса. У вас нет доступа к полному набору данных, на которых модель была обучена, однако есть небольшая размеченная выборка клиентов с сопроводительными материалами.

Более того, у вас еще более таинственным образом имеется возможность частично изменять данные транзакций, которые будут поступать этой модели на вход. Ваша задача – взять неразмеченный файл с клиентскими транзакциями и внести в него атакующие изменения, удовлетворяющие ряду ограничений:

• Бюджет: вы можете менять не более 10 транзакций у каждого клиента. Вы можете менять как все 10 транзакций, так и меньшее их число.
• Цели: вы можете менять MCC коды и сумму каждой транзакции, как вместе, так и по отдельности, но вы не можете менять ничего другого. Вы не можете удалять транзакции, либо добавлять новые.
• Лимиты: после внесения вами изменений, сумма в каждой измененной транзакции должна лежать в заранее известном диапазоне между минимумом и максимумом по соответствующему MCC коду.

Формат решений

Вам необходимо создать алгоритм, способный по последовательности транзакций создать новый табличный .csv файл, который сильнее всего поменяет предсказания в предоставленной вам модели. 

Это табличное соревнование с разметкой предоставленного вам .csv файла. Лидерборды соревнования будут использоваться для квалификации (отбора) на турниры. Перед каждым из турниров, успешно прошедшие отбор участники (топ-10 по лидерборду) должны будут в течение 24 часов запустить свои выбранные решения на новых турнирных тестовых файлах, которые будут предоставлены им напрямую организаторами. 

Проверка решений

• Решения проверяются автоматически. Сперва ваши решения проходят проверку на соответствие ограничениям. После успешного прохождения проверки ваше решение используется для запуска предоставленной вам модели на атакованных данных. 
• Метрика соревнования — ROC-AUC Diff между результатом модели на исходных данных и ее результатом на вашем решении. 
• Соотношение public/private в соревновании составляет 50/50. Победители соревнования определяются по результатам участия в турнирах. Отбор на промежуточный турнир происходит по результатам на public лидерборде, а на финальный - по private лидерборду. 

Информация для участников

• В соревновании можно принимать участие из любой точки мира. Участники могут объединяться в команды до 4-х человек. Участвовать можно в любом количестве из предложенных задач и номинаций. Победители соревнования смогут получить денежные призы только на расчетные счета банков, зарегистрированных на территории Российской Федерации.  Просим вас позаботиться об открытии счета в РФ заранее.
• Ответы на часто задаваемые вопросы по задаче Атака можно найти на странице FAQ. Ответы на вопросы по всему Data Fusion Contest 2023 доступны на FAQ странице трека.
• Информация про турниры и их механики доступны на Турнирной странице трека.

Призовой фонд задачи 1, Атака

Призовой фонд в рамках промежуточного турнира:

1 место: 125 000 рублей
2 место: 75 000 рублей
3 место: 50 000 рублей
Номинация Companion по задаче Атака: 50 000 рублей

Призовой фонд в рамках финального турнира:

1 место: 250 000 рублей
2 место: 150 000 рублей
3 место: 100 000 рублей
4 и 5 место: 75 000 рублей
Номинация Companion по задаче Атака: 50 000 рублей

Полезные статьи

Тема атак и защиты моделей машинного обучения в прикладных задач сейчас только начинает развиваться. Чтобы вы могли вдохновиться подходами и идеями, хотим поделиться с вами наиболее интересными статьями по теме, отобранными в ходе подготовки соревнования:

• [Arxiv, 3 May 2022] Don't sweat the small stuff, classify the rest: Sample Shielding to protect text classifiers against adversarial attacks, Jonathan Rusert, Padmini Srinivasan
• [Arxiv, 15 Jun 2021] Adversarial Attacks on Deep Models for Financial Transaction Records, Ivan Fursov, Matvey Morozov, Nina Kaploukhaya, Elizaveta Kovtun, Rodrigo Rivera-Castro, Gleb Gusev, Dmitry Babaev, Ivan Kireev, Alexey Zaytsev, Evgeny Burnaev
• [Arxiv, 20 Nov 2019] Defense Methods Against Adversarial Examples for Recurrent Neural Networks, Ishai Rosenberg, Asaf Shabtai, Yuval Elovici, Lior Rokach
• [Arxiv, 8 Apr 2016] Crafting Adversarial Input Sequences for Recurrent Neural Networks, Nicolas Papernot, Patrick McDaniel, Ananthram Swami, Richard Harang
• [ICL Thesis, October 2021] Robustness against adversarial attacks on deep neural networks, Liu Yi-Ling