Соревнование продолжается! Регистрация открыта для участников до 2 апреля!
Правила участия
Нажимая кнопку «Участвовать» и/или «Отправить решение», вы соглашаетесь с Правилами участия в соревновании Data Fusion Contest 2023.
Постановка задачи
В вашем распоряжении каким-то образом очутилась банковская модель классификации, предсказывающая дефолт клиента. Это рекуррентная нейросеть, принимающая на вход последние 300 транзакций клиента и классифицирующая клиентов на 2 класса. У вас нет доступа к полному набору данных, на которых модель была обучена, однако есть небольшая размеченная выборка клиентов с сопроводительными материалами.
Более того, у вас еще более таинственным образом имеется возможность частично изменять данные транзакций, которые будут поступать этой модели на вход. Ваша задача – взять неразмеченный файл с клиентскими транзакциями и внести в него атакующие изменения, удовлетворяющие ряду ограничений:
- Бюджет: вы можете менять не более 10 транзакций у каждого клиента. Вы можете менять как все 10 транзакций, так и меньшее их число.
- Цели: вы можете менять MCC коды и сумму каждой транзакции, как вместе, так и по отдельности, но вы не можете менять ничего другого. Вы не можете удалять транзакции, либо добавлять новые.
- Лимиты: после внесения вами изменений, сумма в каждой измененной транзакции должна лежать в заранее известном диапазоне между минимумом и максимумом по соответствующему MCC коду.
Формат решений
Вам необходимо создать алгоритм, способный по последовательности транзакций создать новый табличный .csv файл, который сильнее всего поменяет предсказания в предоставленной вам модели.
Это табличное соревнование с разметкой предоставленного вам .csv файла. Лидерборды соревнования будут использоваться для квалификации (отбора) на турниры. Перед каждым из турниров, успешно прошедшие отбор участники (топ-10 по лидерборду) должны будут в течение 24 часов запустить свои выбранные решения на новых турнирных тестовых файлах, которые будут предоставлены им напрямую организаторами.
Проверка решений
- Решения проверяются автоматически. Сперва ваши решения проходят проверку на соответствие ограничениям. После успешного прохождения проверки ваше решение используется для запуска предоставленной вам модели на атакованных данных.
- Метрика соревнования — ROC-AUC Diff между результатом модели на исходных данных и ее результатом на вашем решении.
- Соотношение public/private в соревновании составляет 50/50. Победители соревнования определяются по результатам участия в турнирах. Отбор на промежуточный турнир происходит по результатам на public лидерборде, а на финальный - по private лидерборду.
Информация для участников
- В соревновании можно принимать участие из любой точки мира. Участники могут объединяться в команды до 4-х человек. Участвовать можно в любом количестве из предложенных задач и номинаций. Победители соревнования смогут получить денежные призы только на расчетные счета банков, зарегистрированных на территории Российской Федерации. Просим вас позаботиться об открытии счета в РФ заранее.
- Ответы на часто задаваемые вопросы по задаче Атака можно найти на странице FAQ. Ответы на вопросы по всему Data Fusion Contest 2023 доступны на FAQ странице трека.
- Информация про турниры и их механики доступны на Турнирной странице трека.
Призовой фонд задачи 1, Атака
Призовой фонд в рамках промежуточного турнира:
1 место: 125 000 рублей
2 место: 75 000 рублей
3 место: 50 000 рублей
Номинация Companion по задаче Атака: 50 000 рублей
Призовой фонд в рамках финального турнира:
1 место: 250 000 рублей
2 место: 150 000 рублей
3 место: 100 000 рублей
4 и 5 место: 75 000 рублей
Номинация Companion по задаче Атака: 50 000 рублей
Полезные статьи
Тема атак и защиты моделей машинного обучения в прикладных задач сейчас только начинает развиваться. Чтобы вы могли вдохновиться подходами и идеями, хотим поделиться с вами наиболее интересными статьями по теме, отобранными в ходе подготовки соревнования:
- [Arxiv, 3 May 2022] Don't sweat the small stuff, classify the rest: Sample Shielding to protect text classifiers against adversarial attacks, Jonathan Rusert, Padmini Srinivasan
- [Arxiv, 15 Jun 2021] Adversarial Attacks on Deep Models for Financial Transaction Records, Ivan Fursov, Matvey Morozov, Nina Kaploukhaya, Elizaveta Kovtun, Rodrigo Rivera-Castro, Gleb Gusev, Dmitry Babaev, Ivan Kireev, Alexey Zaytsev, Evgeny Burnaev
- [Arxiv, 20 Nov 2019] Defense Methods Against Adversarial Examples for Recurrent Neural Networks, Ishai Rosenberg, Asaf Shabtai, Yuval Elovici, Lior Rokach
- [Arxiv, 8 Apr 2016] Crafting Adversarial Input Sequences for Recurrent Neural Networks, Nicolas Papernot, Patrick McDaniel, Ananthram Swami, Richard Harang
- [ICL Thesis, October 2021] Robustness against adversarial attacks on deep neural networks, Liu Yi-Ling