<h3><strong>Правила участия</strong></h3><p>Нажимая кнопку «Участвовать» и/или «Отправить решение», вы соглашаетесь с <a target="_blank" rel="noopener noreferrer" href="https://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/DataFusion2023/Rules_Data_Fusion_2023.pdf">Правилами участия в соревновании Data Fusion Contest 2023.</a></p><h3>Постановка задачи</h3><p>Как и в задаче Атака, в вашем распоряжении имеется банковская RNN модель бинарной классификации, предсказывающая дефолт клиента. Доступа к полному объему данных, на которых модель была обучена, у вас нет. Однако, есть небольшая размеченная выборка клиентов с сопроводительными материалами. И вы точно знаете, в каком формате эту модель будут атаковать – меняя небольшое число транзакций, подаваемых модели на вход.&nbsp;</p><p>Теперь ваша задача – построить хорошую модель для той же задачи классификации, сделав ее при этом защищенной от подобных уязвимостей. Не в ваших силах предотвратить взлом данных, но полностью в ваших – постараться защитить модель от подобных неприятностей.</p><h3>Формат решений</h3><p>Необходимо построить модель классификатора, используя имеющуюся банковскую модель и предоставленные вам размеченные данные транзакций,&nbsp;в формате контейнера с кодом. А именно, используя данные транзакций, обучить модель, использующую информацию о последних 300 транзакциях для бинарной классификации клиентов.&nbsp;</p><p>Это контейнерное соревнование с подготовкой решений в виде архива с кодом, который будет автономно запускаться на закрытых тестовых данных. Лидерборды соревнования будут использоваться для квалификации (отбора) на турниры. Так как формат является контейнерным, отбор на каждый из турниров происходит автоматически, для участников на первых 10 местах на момент квалификации на турнир. Квалификация на промежуточный турнир происходит по публичной части лидерборда; квалификация на финальный турнир – по приватной.</p><h3>Проверка решений</h3><ul><li>Решения проверяются автоматически. Запуск происходит&nbsp;в изолированной среде без доступа в интернет на полностью закрытых тестовых данных, которые не передаются участникам.</li><li>И в публичной и в приватной части рейтинга решения запускаются на двух наборах входных данных: исходных транзакциях, а также на исходных транзакциях с заранее подготовленными организаторами атаками, удовлетворяющими требованиям и ограничениям для задачи Атака.&nbsp;</li><li>Соотношение public/private в соревновании составляет 50/50. Победители соревнования&nbsp;определяются по результатам участия в турнирах. Отбор на промежуточный турнир происходит по результатам на public лидерборде, а на финальный — по private лидерборду.&nbsp;</li><li>Метрика соревнования&nbsp;— <code><strong>Mean Harm ROC-AUC</strong></code>. Это среднее гармоническое <code><strong>ROC-AUC</strong></code> на исходных данных и на атакованных. Метрика сочетает в себе компромисс между повышением защищенности модели и потенциальным снижением ее качества.&nbsp;</li></ul><h3>Доступные ресурсы для решений</h3><ul><li>8 ядер CPU</li><li>96Gb RAM</li><li>Видеокарта NVidia Tesla V100</li></ul><h3>Ограничения для решений</h3><ul><li>5Gb для архива с решением</li><li>60 минут на работу решения: 30 минут на public часть и 30 минут на private</li><li>Docker-образ, используемый в решении, должен быть опубликован и публично доступен на Dockerhub</li></ul><h3>Информация&nbsp;для участников</h3><ul><li>В соревновании можно участвовать из любой точки мира. Участники могут объединяться в команды до 4-х человек. Участвовать можно в любом количестве из предложенных задач и номинаций. Победители соревнования смогут получить денежные призы только на расчетные счета банков, зарегистрированных на территории Российской Федерации.&nbsp;Просим вас позаботиться об открытии счета в РФ заранее.</li><li>Ответы на часто задаваемые вопросы по задаче Атака можно найти на странице FAQ. Ответы на вопросы по всему Data Fusion Contest 2023 доступны&nbsp;на&nbsp;<a target="_blank" rel="noopener noreferrer" href="https://ods.ai/tracks/data-fusion-2023-competitions/faq">FAQ странице трека</a>.</li><li>Информация про турниры и их механики доступны на <a target="_blank" rel="noopener noreferrer" href="https://ods.ai/tracks/data-fusion-2023-competitions/tournament">Турнирной странице трека</a>.</li></ul><h3>Призовой фонд задачи 2, Защита</h3><p>Призовой фонд в рамках промежуточного турнира:</p><p>1 место: 125 000 рублей<br>2 место: 75 000 рублей<br>3 место: 50 000 рублей<br>Номинация <a target="_blank" rel="noopener noreferrer" href="https://ods.ai/competitions/data-fusion2023-companion">Companion</a> по задаче Защита: 50 000 рублей</p><p>Призовой фонд в рамках финального турнира:</p><p>1 место: 250 000 рублей<br>2 место: 150 000 рублей<br>3 место: 100 000 рублей<br>4 и 5 место: 75 000 рублей<br>Номинация <a target="_blank" rel="noopener noreferrer" href="https://ods.ai/competitions/data-fusion2023-companion">Companion</a> по задаче Защита: 50 000 рублей</p><h3>Полезные статьи</h3><p>Тема атак и защиты моделей машинного обучения в прикладных задач сейчас только начинает развиваться. Чтобы вы могли вдохновиться подходами и идеями, хотим поделиться с вами наиболее интересными статьями по теме, отобранными в ходе подготовки соревнования:</p><ul><li><a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/abs/2205.01714"><strong>[Arxiv, 3 May 2022]</strong></a><i> </i>Don't sweat the small stuff, classify the rest: Sample Shielding to protect text classifiers against adversarial attacks, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Rusert%2C+J">Jonathan Rusert</a>, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Srinivasan%2C+P">Padmini Srinivasan</a></li><li><a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/abs/2106.08361"><strong>[Arxiv, 15 Jun 2021]</strong></a><i><strong> </strong></i>Adversarial Attacks on Deep Models for Financial Transaction Records, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Fursov%2C+I">Ivan Fursov</a>, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Morozov%2C+M">Matvey Morozov</a>, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Kaploukhaya%2C+N">Nina Kaploukhaya</a>, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Kovtun%2C+E">Elizaveta Kovtun</a>, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Rivera-Castro%2C+R">Rodrigo Rivera-Castro</a>, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Gusev%2C+G">Gleb Gusev</a>, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Babaev%2C+D">Dmitry Babaev</a>, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Kireev%2C+I">Ivan Kireev</a>, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Zaytsev%2C+A">Alexey Zaytsev</a>, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Burnaev%2C+E">Evgeny Burnaev</a></li><li><a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/abs/1901.09963"><strong>[Arxiv, 20 Nov 2019] </strong></a>Defense Methods Against Adversarial Examples for Recurrent Neural Networks, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Rosenberg%2C+I">Ishai Rosenberg</a>, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Shabtai%2C+A">Asaf Shabtai</a>, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Elovici%2C+Y">Yuval Elovici</a>, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Rokach%2C+L">Lior Rokach</a></li><li><a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/abs/1604.08275"><strong>[Arxiv, 8 Apr 2016] </strong></a>Crafting Adversarial Input Sequences for Recurrent Neural Networks, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Papernot%2C+N">Nicolas Papernot</a>, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=McDaniel%2C+P">Patrick McDaniel</a>, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Swami%2C+A">Ananthram Swami</a>, <a target="_blank" rel="noopener noreferrer" href="https://arxiv.org/search/cs?searchtype=author&amp;query=Harang%2C+R">Richard Harang</a></li><li><a target="_blank" rel="noopener noreferrer" href="https://spiral.imperial.ac.uk/handle/10044/1/96749"><strong>[ICL Thesis, October 2021]</strong></a> Robustness against adversarial attacks on deep neural networks, Liu Yi-Ling</li></ul>

Можно ли защититься от современных атак на ML модели, не сильно потеряв в качестве? Постройте свою модель, решающую ту же задачу классификации, но при этом устойчивую к Adversarial ML атакам на входные данные.

Public Phase 1

Public Phase 2

Private Phase 2

Турнир 1

Турнир 2

Данные

User Agreement Bank

<p><a href="http://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/DataFusion2023/reg/soglasie_vtb_DF%20Contest%202023.pdf">даю согласие</a>&nbsp;Банку ВТБ (ПАО) на обработку моих персональных данных, ознакомлен с&nbsp;<a href="http://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/DataFusion2023/reg/Polozhenie_ob_organizatsii_obrabotki_personalnykh_dannykh_vypiska.pdf">Положением об организации обработки персональных данных&nbsp;Банком ВТБ (ПАО)&nbsp;</a>&nbsp;(*)</p>

Consent Data Processing (Data Souls)

<p><a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" rel="noopener noreferrer" target="_blank">даю согласие</a>&nbsp;DataSouls на обработку моих персональных данных&nbsp;(*)</p>

Privacy Policy and User agreement (Data Souls)

<p>ознакомлен и принимаю&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" rel="noopener noreferrer" target="_blank">Пользовательское соглашение</a>&nbsp;и&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" rel="noopener noreferrer" target="_blank">Политику конфиденциальности</a>&nbsp;DataSouls (*)</p>

Consent

<p>согласен(а) получать информационные рассылки от ООО &ldquo;Соревнования Анализа Данных&rdquo;&nbsp;</p>

first_name

First name

last_name

Last name

country

Country (lat)

city

City (lat)

email

Email

phone_optional

Phone (Optional)

Occupation

Experience

Experience in DC

study_place2

Company/study place name

referral

How did you know about the competition?

Registration application for Data Fusion 2023

Data Fusion Contest 2023 —  Задача 2 «Защита»

Predictions

<p>Результаты участников на public test задачи Защита в течение первой фазы соревнования с 07.02 00:00 по 02.04 23:59.&nbsp;<br />
Отбор на финальный турнир соревнования будет происходить по результатам на private test лидерборде.&nbsp;</p>

#	Teams (42)	Mean Harm ROC-AUC	Last	Entries
1	Alexander Dudin	0.755194	21m	119
2	Andrey Khlopotnukh	0.754697	21m	100
3	Лаборатория	0.750332	21m	39
4	Andrey Kuznetsov	0.747895	21m	48
5	Timofey Zheleznyakov	0.741707	21m	77
6	Drastamat Kazanchian	0.740048	22m	29
7	Andrei Kopylov	0.73649	21m	31
8	TransactionGPT	0.735322	21m	61
9	Evgeny Kazenov	0.733846	21m	26
10	Ivan Alexandrov	0.733615	21m	12
11	CONS	0.733449	22m	33
12	Kag le	0.731145	22m	9
13	Ivan Glebov	0.729875	21m	10
14	Gennady Shtech	0.729354	21m	44
15	Vlad Balanda	0.728616	21m	69
16	Alexey Sinadskiy UDV Team	0.728458	22m	30
17	Maksim Chebotariov	0.727591	22m	33
18	Victor Krasilnikov	0.727269	22m	5
19	Lina Rusinova UDV team	0.727058	21m	38
20	Roman Barilov	0.723464	22m	10
21	v72c8d5a5d8de	0.721081	21m	2
22	Yuriy Kim	0.720803	22m	6
23	Anton Morozov	0.720445	22m	12
24	InnovationAndResearchTeam	0.720445	22m	12
25	baseline	0.720445	22m	9
26	David Romanov	0.720445	22m	2
27	Anatoly Ilyenkov	0.719594	21m	9
28	Nikita Romanov	0.71335	22m	2
29	flow	0.712208	22m	10
30	Stepan Andreev	0.712071	22m	12
31	Tagir Analyzes	0.711364	23m	3
32	Alexey Miasnikov	0.710165	21m	2
33	MLRocks	0.709666	23m	4
34	Dmitry Kutsenko	0.709253	22m	9
35	team-81	0.70598	22m	6
36	Roman Sidorov	0.705638	23m	2
37	Niplix Nighteny	0.705638	22m	1
38	Grigory D	0.700928	22m	1
39	Ilya Dol	0.700928	21m	1
40	TORONTOTOKYO	0.700433	22m	2
41	Nikita Gusev	0.694772	22m	5
42	TPUTEAM	0.590755	22m	11