<h2 bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">Задача</h2>

&nbsp;

В задаче Video Question Answering модели необходимо проанализировать короткие видеофрагменты и представленные к ним вопросы по содержанию и запечатленным&nbsp; событиям и/или действиям, чтобы сгенерировать наиболее подходящие ответы на русском языке. 
&nbsp;

<h2 bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">Формат решений</h2>

Решения запускаются в изолированном окружении при помощи Docker. Время и ресурсы во время тестирования ограничены. Ответы, полученные моделью Участника, должны быть сохранены в файл answer.csv, где в колонке &lsquo;answer&rsquo; записан ответ на соответствующий вопрос по каждому видео в порядке их записи в файле public_test_input.csv

&nbsp;

В течение одних суток Участник или Команда Участников может загрузить для оценки не более 5 решений.&nbsp;

Так как решение не имеет доступ к Интернету, все дополнительные данные, например, веса обученной модели, должны быть загружены в контейнер. В качестве примера организаторы предоставляют контейнер для запуска бейзлайн-решения.

&nbsp;

Контейнер с решением запускается в следующих условиях:

<ul bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">
<li bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">8 ядер CPU</li>
<li bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">96 GB&nbsp;RAM</li>
<li bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">Видеокарта NVidia Tesla V100</li>
<li bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">30 минут на работу решения: 15&nbsp;минут на public часть и 15&nbsp;минут на private</li>
<li bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">решение не имеет доступа к ресурсам интернета</li>
<li bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">максимальный размер упакованного и распакованного архива с решением: 5гб</li>
<li bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">максимальный размер используемого Docker-образа: 10гб</li>
</ul>

<h2 bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">Метрика</h2>

Для оценки решений участников будет использована метрика BLEU, которая позволяет сравнить эталонный и предсказанный текст. При этом BLEU оценивает не только соответствие отдельных слов, но и n-грамм, содержащихся в тексте.

Метрика BLEU была изначально предложена для оценки качества машинного перевода, однако она может применяться в любых задачах, в которых необходимо оценить близость двух текстов (при этом, допуская вариативность текстов-кандидатов, что важно в задаче описания видео).

&nbsp;

<h2 bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">Baseline</h2>

Вам доступно базовое решение от разработчиков задачи с использованием фреймворка PyTorch.

Пример скрипта для обучения модели приведен по ссылке:

<ol bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">
<li aria-level="1" bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}"><a bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}" href="https://drive.google.com/file/d/1PN5NmFHZ1VoSH-wQOtPO8Q_ctQmNyOhL/view?usp=share_link">https://drive.google.com/file/d/1PN5NmFHZ1VoSH-wQOtPO8Q_ctQmNyOhL/view?usp=share_link</a></li>
</ol>

Предполагаемый пайплайн работы модели включает в себя следующие этапы: вычисление для входного видео эмбеддингов, которые далее пропускаются через MLP адаптер для GPT декодера и декодер предсказывает ответ. Однако участники вольны предложить собственную архитектуру.

&nbsp;

Сгенерируйте наиболее подходящие ответы

Public

Private

User agreement_en

I have read and agree to the <a href="http://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/UserAgreement.pdf">User Agreement and Privacy Policy</a>

Personal data_en

I give <a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/Consent.pdf">my consent</a> to &ldquo;Sorevnovaniya Analiza Dannykh&rdquo; LLC to process and share my personal data with event partners for communication purposes

Consent_en

<a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/Email.pdf">I agree</a> to receive newsletters from Data Analytics Competitions Ltd.

Contest Rules_en

I agree with the <a href="http://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/NTOFINAL2023/RulesNtoFinal2023.pdf">rules of the competition</a>

You have reached the registration page for the Final Artificial Intelligence profile of the National Technology Olympiad 2022/23. When registering, please give your Talent-ID, the same email and the correct name you gave when you registered for the NTO.

email

Email

talentid

Talent-ID


1	Градиентное погружение	12.00834	3y	11
2	просто отвага	9.75401	3y	7
3	Пикник доставка	9.5317	3y	3
4	DEPO Team	8.08048	3y	6
5	Просто перцы	7.86164	3y	3
6	ВИЗАНТИЯ	7.7199	3y	9
7	Ковровые волшебники	7.70935	3y	6
8	Сомнительный процент	7.51448	3y	4
9	CUDA out of memory moment	7.40031	3y	3
10	ПельMEON	7.33664	3y	9
11	DROP TABLE Users	7.19122	3y	8
12	Dataшкольники	6.54497	3y	5
13	My Little Bro	6.52811	3y	11
14	We have called Saul	6.47346	3y	4
15	DeepVision	6.46258	3y	3
16	NeuroTeam	6.41045	3y	7
17	МифиNet	6.30924	3y	8
18	Машина прогресса	6.05252	3y	7
19	Big Data Big Future	5.94018	3y	3
20	Кодерские Котлетки	5.93477	3y	1
21	Нейросетевые оладушки	5.90078	3y	8
22	Квантовый Кукеч	5.79869	3y	3
23	Кирки	5.51808	3y	6
24	Градиентные Пекари	5.43593	3y	7
25	FitPredict	5.34551	3y	5
26	Glamuras Akulas	5.32852	3y	3
27	TimTech	5.13923	3y	5
28	DSka	5.07182	3y	10
29	Grandmasters	5.01683	3y	10
30	завод кумыса	4.97236	3y	15
31	Azkaban	4.94109	3y	1
32	Самые Важные Бумажные	4.89122	3y	6
33	OutInSiders	4.79931	3y	2
34	FSD	4.79359	3y	2
35	ARTEX	4.77317	3y	5
36	Betrayers	4.41341	3y	12
37	Brainacs	4.2532	3y	7
38	DejaVu	3.67683	3y	8
39	Just Overfitting	3.49886	3y	8
40	Кулхацеры	3.09135	3y	5
41	fix sbercloud	3.02232	3y	3
42	Andrey Khlopotnukh	2.96973	3y	5
43	Горячие пирожки	1.97005	3y	4
44	OverfitNet	1.69365	3y	5
45	TUSBDT	0.79689	3y	1
46	KON	0.79689	3y	3
47	работяги а не гении	0.79689	3y	3
48	coffee olgrok	0.67107	3y	2
49	mrproducer web	0	3y	5