Задача 
В задаче Video Captioning (создание текстового описания к видео) модели необходимо проанализировать короткий видеофрагмент и сгенерировать наиболее подходящее текстовое описание на английском языке, которое характеризует события и/или действия, происходящие на видео.

Формат решений 
Решения запускаются в изолированном окружении при помощи Docker. Время и ресурсы во время тестирования ограничены. Ответы, полученные моделью Участника, должны быть сохранены в файл answer.csv, где в колонке &lsquo;captions&rsquo; записано описание для каждого видео в порядке их записи в файле input_test.csv

В течение одних суток Участник или Команда Участников может загрузить для оценки не более 5 решений.&nbsp;

Так как решение не имеет доступ к Интернету, все дополнительные данные, например, веса обученной модели, должны быть загружены в контейнер. В качестве примера организаторы предоставляют контейнер для запуска бейзлайн-решения. 
Контейнер с решением запускается в следующих условиях:

<ul>
<li>Доступ к 1 GPU</li>
<li>40 минут</li>
<li>решение не имеет доступа к ресурсам интернета</li>
<li>максимальный размер упакованного и распакованного архива с решением: 15гб</li>
<li>максимальный размер используемого Docker-образа: 10гб</li>
</ul>

 
Метрика 
Для оценки решений участников будет использована метрика BLEU, которая позволяет сравнить эталонный и предсказанный текст. При этом BLEU оценивает не только соответствие отдельных слов, но и n-грамм, содержащихся в тексте. 
Метрика BLEU была изначально предложена для оценки качества машинного перевода, однако она может применяться в любых задачах, в которых необходимо оценить близость двух текстов (при этом, допуская вариативность текстов-кандидатов, что важно в задаче описания видео).

Baseline 
Вам доступно базовое решение от разработчиков задачи с использованием фреймворка PyTorch.&nbsp; 
Пример скрипта для обучения модели приведен по <a href="https://drive.google.com/file/d/1LLhaA74JtNZB7ki-FwyAlp7uFwAGGA6U/view?usp=share_link" target="_blank">ссылке</a>.

Предполагаемый пайплайн работы модели включает в себя следующие этапы: вычисление для входного видео эмбеддингов, которые далее пропускаются через MLP адаптер для GPT декодера и декодер предсказывает ответ.

Сгенерируйте описание видео

Public

Private

User agreement_en

I have read and agree to the <a href="http://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/UserAgreement.pdf">User Agreement and Privacy Policy</a>

Personal data_en

I give <a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/Consent.pdf">my consent</a> to &ldquo;Sorevnovaniya Analiza Dannykh&rdquo; LLC to process and share my personal data with event partners for communication purposes

Consent_en

<a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/Email.pdf">I agree</a> to receive newsletters from Data Analytics Competitions Ltd.

Contest Rules_en

I agree with the <a href="https://drive.google.com/file/d/1vNyrF03AtYb7pczr4YRR9yY5PhWlvnDq/view?usp=share_link">rules of the competition</a>

Consent_school

Регистрируясь, вы подтверждаете, что являетесть школьником

You have reached the registration page of the Hackathon AI Academy 2022.

email

Email

first_name

First name

last_name

Last name

middle_name

Middle name

is_underage

Underage

legal_representative_first_name

Legal representative First name

legal_representative_last_name

Legal representative Last name

legal_representative_middle_name

Legal representative Middle name

legal_representative_email

Legal representative Email

Registration application for the Hackathon AI Academy 2022

Хакатон AI Academy 2022

Container

DEPO Team

работяги а не гении

яйца

Машина прогресса

Градиентное Погружение

остался без гаража

offconcern

Brainacs

Mazy

нет времени объяснять

Ivan Mironov

Аня

Lexi

CUDA out of memory moment

Egor Starygin

потерялись отсюда валенки

Sasha Ilin

Alex Ander

LuckNet

Just overfitting

Maksim Kondrashin

Wanderers

ИИ Man Эвоплоцефал

Wanderer

дединсайдовски пон

Valery Tamrazov

Stepan Zhdanov

Egor Yakovlev

nikita lvyonok

Nikita Romanov

David Romanov

Кристофари

Mark Smirnov

Maksim Aleksandrov

Stepan Andreichev

Поршни

Сомнительный процент

Ivan Zhovtyi

я в регионе

bleu scored

бобры

Maxim Taranenko

kvis

подарю гараж

Liza blu

Shaleen Bhartiya

Vadim Pismennyy

Vitalik Simonov

Danil Zolotarev

Ivan Samorodskiy

BLEU Score


1	DEPO Team	94.38006	15m	59
2	работяги а не гении	91.07412	15m	76
3	яйца	82.08057	15m	17
4	Машина прогресса	73.21464	15m	19
5	Градиентное Погружение	63.06575	15m	64
6	остался без гаража	28.90737	15m	36
7	offconcern	28.44164	15m	4
8	Brainacs	27.69779	15m	42
9	Mazy	26.11786	15m	7
10	нет времени объяснять	24.32825	15m	7
11	Ivan Mironov	23.04711	15m	12
12	Аня	21.99319	15m	32
13	Lexi	19.88161	15m	3
14	CUDA out of memory moment	19.30096	15m	19
15	Egor Starygin	19.1329	15m	13
16	потерялись отсюда валенки	18.74965	15m	2
17	Sasha Ilin	17.93244	15m	14
18	Alex Ander	17.54718	15m	1
19	LuckNet	16.44201	15m	6
20	Just overfitting	16.31618	15m	26
21	Maksim Kondrashin	15.19531	15m	1
22	Wanderers	14.88527	15m	4
23	ИИ Man Эвоплоцефал	14.52669	15m	18
24	Wanderer	14.17077	15m	3
25	дединсайдовски пон	14.0607	15m	12
26	Valery Tamrazov	13.71644	15m	1
27	Stepan Zhdanov	12.36142	15m	7
28	Egor Yakovlev	12.31117	15m	5
29	nikita lvyonok	12.15797	15m	2
30	Nikita Romanov	11.79758	16m	5
31	David Romanov	11.58056	16m	1
32	Кристофари	11.58056	16m	5
33	Mark Smirnov	11.58056	16m	2
34	Maksim Aleksandrov	11.58056	16m	3
35	Stepan Andreichev	11.58056	16m	2
36	Поршни	11.58056	16m	1
37	Сомнительный процент	11.58056	16m	1
38	Ivan Zhovtyi	11.58056	16m	1
39	я в регионе	11.58056	16m	4
40	bleu scored	11.58056	15m	2
41	бобры	11.58056	16m	3
42	Maxim Taranenko	11.58056	16m	1
43	kvis	11.58056	15m	3
44	подарю гараж	11.58056	15m	2
45	Liza blu	11.58056	15m	2
46	Shaleen Bhartiya	11.58056	15m	1
47	Vadim Pismennyy	11.58056	15m	1
48	Vitalik Simonov	11.58056	15m	5
49	Danil Zolotarev	11.58056	15m	1
50	Ivan Samorodskiy	11.58056	15m	1