<h2 bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">Задача</h2>

&nbsp;

В задаче Video Question Answering модели необходимо проанализировать короткие видеофрагменты и представленные к ним вопросы по содержанию и запечатленным&nbsp; событиям и/или действиям, чтобы сгенерировать наиболее подходящие ответы на русском языке. 
&nbsp;

<h2 bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">Формат решений</h2>

Решения запускаются в изолированном окружении при помощи Docker. Время и ресурсы во время тестирования ограничены. Ответы, полученные моделью Участника, должны быть сохранены в файл answer.csv, где в колонке &lsquo;answer&rsquo; записан ответ на соответствующий вопрос по каждому видео в порядке их записи в файле public_test_input.csv

&nbsp;

В течение одних суток Участник или Команда Участников может загрузить для оценки не более 5 решений.&nbsp;

Так как решение не имеет доступ к Интернету, все дополнительные данные, например, веса обученной модели, должны быть загружены в контейнер. В качестве примера организаторы предоставляют контейнер для запуска бейзлайн-решения.

&nbsp;

Контейнер с решением запускается в следующих условиях:

<ul bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">
<li bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">8 ядер CPU</li>
<li bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">96 GB&nbsp;RAM</li>
<li bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">Видеокарта NVidia Tesla V100</li>
<li bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">30 минут на работу решения: 15&nbsp;минут на public часть и 15&nbsp;минут на private</li>
<li bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">решение не имеет доступа к ресурсам интернета</li>
<li bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">максимальный размер упакованного и распакованного архива с решением: 5гб</li>
<li bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">максимальный размер используемого Docker-образа: 10гб</li>
</ul>

<h2 bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">Метрика</h2>

Для оценки решений участников будет использована метрика BLEU, которая позволяет сравнить эталонный и предсказанный текст. При этом BLEU оценивает не только соответствие отдельных слов, но и n-грамм, содержащихся в тексте.

Метрика BLEU была изначально предложена для оценки качества машинного перевода, однако она может применяться в любых задачах, в которых необходимо оценить близость двух текстов (при этом, допуская вариативность текстов-кандидатов, что важно в задаче описания видео).

&nbsp;

<h2 bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">Baseline</h2>

Вам доступно базовое решение от разработчиков задачи с использованием фреймворка PyTorch.

Пример скрипта для обучения модели приведен по ссылке:

<ol bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}">
<li aria-level="1" bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}"><a bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:3998}" href="https://drive.google.com/file/d/1PN5NmFHZ1VoSH-wQOtPO8Q_ctQmNyOhL/view?usp=share_link">https://drive.google.com/file/d/1PN5NmFHZ1VoSH-wQOtPO8Q_ctQmNyOhL/view?usp=share_link</a></li>
</ol>

Предполагаемый пайплайн работы модели включает в себя следующие этапы: вычисление для входного видео эмбеддингов, которые далее пропускаются через MLP адаптер для GPT декодера и декодер предсказывает ответ. Однако участники вольны предложить собственную архитектуру.

&nbsp;

Сгенерируйте наиболее подходящие ответы

Public

Private

User agreement_en

I have read and agree to the <a href="http://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/UserAgreement.pdf">User Agreement and Privacy Policy</a>

Personal data_en

I give <a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/Consent.pdf">my consent</a> to &ldquo;Sorevnovaniya Analiza Dannykh&rdquo; LLC to process and share my personal data with event partners for communication purposes

Consent_en

<a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/Email.pdf">I agree</a> to receive newsletters from Data Analytics Competitions Ltd.

Contest Rules_en

I agree with the <a href="http://storage.yandexcloud.net/ds-ods/files/data/docs/competitions/NTOFINAL2023/RulesNtoFinal2023.pdf">rules of the competition</a>

You have reached the registration page for the Final Artificial Intelligence profile of the National Technology Olympiad 2022/23. When registering, please give your Talent-ID, the same email and the correct name you gave when you registered for the NTO.

email

Email

talentid

Talent-ID

first_name

First name

last_name

Last name

middle_name

Middle name

is_underage

Underage

legal_representative_first_name

Legal representative First name

legal_representative_last_name

Legal representative Last name

legal_representative_middle_name

Legal representative Middle name

legal_representative_email

Legal representative Email

Registration application for final competition «Artificial Intelligence» of the National Technology Olympiad 22/23

Финал профиля “Искусственный интеллект”

Predictions

train video:&nbsp;<a bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:7081}" href="https://drive.google.com/file/d/17yesNsibg7vhoH22tF4_DsE86Htvl8Pt/view?usp=share_link">https://drive.google.com/file/d/17yesNsibg7vhoH22tF4_DsE86Htvl8Pt/view?usp=share_link</a>

submit:&nbsp;<a bis_size="{&quot;x&quot;:0,&quot;y&quot;:0,&quot;w&quot;:0,&quot;h&quot;:0,&quot;abs_x&quot;:220,&quot;abs_y&quot;:7081}" href="https://drive.google.com/file/d/1CoTOw4m0J0l3fH8SRcAetGcIlf_Je9h2/view">https://drive.google.com/file/d/1CoTOw4m0J0l3fH8SRcAetGcIlf_Je9h2/view</a>

&nbsp;

Организаторы предоставляют участникам обучающий набор данных, который включает в себя 2757 коротких видео и соответствующих им вопросов и ответов на русском языке.

Файл train.csv включает в себя название видео (колонка &ndash; path), вопрос к видео (колонка &ndash; question) и ответ на вопрос, соответствующий видео (колонка &ndash; answer).

Обученная модель участника будет запущена на тестовых данных, формат которых соответствует обучающей выборке, однако сами данные скрыты от участников.&nbsp;

Распределение мест будет определяться в соответствии со значением метрики на тестовом наборе.

&nbsp;

Тестовые&nbsp;данные представлены двумя наборами: Public и Private test, на которых будет рассчитана метрика BLEU.

Метрика, рассчитанная на данных Public test доступна участникам в процессе соревнования на платформе. Финальное значение метрики будет рассчитано на данных Private test. Распределение мест будет определяться в соответствии со значением метрики на Private test.

&nbsp;

baseline_video_qa.ipynb	1 MB
dockerfile.uu	1 MB
requirements.txt	1 MB
metric.py	1 MB
train.csv	3 MB

Materials (7 MB)