Задача 
В задаче Video Captioning (создание текстового описания к видео) модели необходимо проанализировать короткий видеофрагмент и сгенерировать наиболее подходящее текстовое описание на английском языке, которое характеризует события и/или действия, происходящие на видео.

Формат решений 
Решения запускаются в изолированном окружении при помощи Docker. Время и ресурсы во время тестирования ограничены. Ответы, полученные моделью Участника, должны быть сохранены в файл answer.csv, где в колонке &lsquo;captions&rsquo; записано описание для каждого видео в порядке их записи в файле input_test.csv

В течение одних суток Участник или Команда Участников может загрузить для оценки не более 5 решений.&nbsp;

Так как решение не имеет доступ к Интернету, все дополнительные данные, например, веса обученной модели, должны быть загружены в контейнер. В качестве примера организаторы предоставляют контейнер для запуска бейзлайн-решения. 
Контейнер с решением запускается в следующих условиях:

<ul>
<li>Доступ к 1 GPU</li>
<li>40 минут</li>
<li>решение не имеет доступа к ресурсам интернета</li>
<li>максимальный размер упакованного и распакованного архива с решением: 15гб</li>
<li>максимальный размер используемого Docker-образа: 10гб</li>
</ul>

 
Метрика 
Для оценки решений участников будет использована метрика BLEU, которая позволяет сравнить эталонный и предсказанный текст. При этом BLEU оценивает не только соответствие отдельных слов, но и n-грамм, содержащихся в тексте. 
Метрика BLEU была изначально предложена для оценки качества машинного перевода, однако она может применяться в любых задачах, в которых необходимо оценить близость двух текстов (при этом, допуская вариативность текстов-кандидатов, что важно в задаче описания видео).

Baseline 
Вам доступно базовое решение от разработчиков задачи с использованием фреймворка PyTorch.&nbsp; 
Пример скрипта для обучения модели приведен по <a href="https://drive.google.com/file/d/1LLhaA74JtNZB7ki-FwyAlp7uFwAGGA6U/view?usp=share_link" target="_blank">ссылке</a>.

Предполагаемый пайплайн работы модели включает в себя следующие этапы: вычисление для входного видео эмбеддингов, которые далее пропускаются через MLP адаптер для GPT декодера и декодер предсказывает ответ.

Сгенерируйте описание видео

Public

Private

User agreement_en

I have read and agree to the <a href="http://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/UserAgreement.pdf">User Agreement and Privacy Policy</a>

Personal data_en

I give <a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/Consent.pdf">my consent</a> to &ldquo;Sorevnovaniya Analiza Dannykh&rdquo; LLC to process and share my personal data with event partners for communication purposes

Consent_en

<a href="https://storage.yandexcloud.net/datasouls-ods/CourseFest_1/Docs/Email.pdf">I agree</a> to receive newsletters from Data Analytics Competitions Ltd.

Contest Rules_en

I agree with the <a href="https://drive.google.com/file/d/1vNyrF03AtYb7pczr4YRR9yY5PhWlvnDq/view?usp=share_link">rules of the competition</a>

Consent_school

Регистрируясь, вы подтверждаете, что являетесть школьником

You have reached the registration page of the Hackathon AI Academy 2022.

email

Email

first_name

First name

last_name

Last name

middle_name

Middle name

is_underage

Underage

legal_representative_first_name

Legal representative First name

legal_representative_last_name

Legal representative Last name

legal_representative_middle_name

Legal representative Middle name

legal_representative_email

Legal representative Email

Registration application for the Hackathon AI Academy 2022

Хакатон AI Academy 2022

Container

работяги а не гении

DEPO Team

яйца

Машина прогресса

Градиентное Погружение

offconcern

остался без гаража

Mazy

Brainacs

нет времени объяснять

Ivan Mironov

Аня

CUDA out of memory moment

Egor Starygin

Lexi

потерялись отсюда валенки

Alex Ander

Sasha Ilin

Just overfitting

LuckNet

Maksim Kondrashin

Wanderers

Wanderer

ИИ Man Эвоплоцефал

Valery Tamrazov

дединсайдовски пон

Egor Yakovlev

nikita lvyonok

Stepan Zhdanov

Maksim Aleksandrov

бобры

David Romanov

Кристофари

Mark Smirnov

Stepan Andreichev

Поршни

Сомнительный процент

Ivan Zhovtyi

я в регионе

bleu scored

Maxim Taranenko

kvis

подарю гараж

Liza blu

Shaleen Bhartiya

Vadim Pismennyy

Vitalik Simonov

Danil Zolotarev

Ivan Samorodskiy

deteron

BLEU Score


1	работяги а не гении	92.67585	16m	76
2	DEPO Team	92.20167	16m	59
3	яйца	84.62246	16m	17
4	Машина прогресса	72.69633	16m	19
5	Градиентное Погружение	62.67808	16m	64
6	offconcern	28.03895	16m	4
7	остался без гаража	27.29421	16m	36
8	Mazy	27.06892	16m	7
9	Brainacs	25.7329	16m	42
10	нет времени объяснять	23.14631	16m	7
11	Ivan Mironov	21.43975	16m	12
12	Аня	20.55167	16m	32
13	CUDA out of memory moment	18.74144	16m	19
14	Egor Starygin	18.70818	16m	13
15	Lexi	18.37544	16m	3
16	потерялись отсюда валенки	17.8209	16m	2
17	Alex Ander	17.75882	16m	1
18	Sasha Ilin	17.66271	16m	14
19	Just overfitting	15.71	16m	26
20	LuckNet	15.3054	16m	6
21	Maksim Kondrashin	15.13194	16m	1
22	Wanderers	14.86239	16m	4
23	Wanderer	14.63938	16m	3
24	ИИ Man Эвоплоцефал	14.10237	16m	18
25	Valery Tamrazov	13.32582	16m	1
26	дединсайдовски пон	13.09528	16m	12
27	Egor Yakovlev	12.68823	16m	5
28	nikita lvyonok	11.81521	16m	2
29	Stepan Zhdanov	11.75559	16m	7
30	Maksim Aleksandrov	11.60382	17m	3
31	бобры	11.20357	17m	3
32	David Romanov	11.15982	17m	1
33	Кристофари	11.15982	17m	5
34	Mark Smirnov	11.15982	17m	2
35	Stepan Andreichev	11.15982	17m	2
36	Поршни	11.15982	17m	1
37	Сомнительный процент	11.15982	17m	1
38	Ivan Zhovtyi	11.15982	17m	1
39	я в регионе	11.15982	17m	4
40	bleu scored	11.15982	16m	2
41	Maxim Taranenko	11.15982	17m	1
42	kvis	11.15982	16m	3
43	подарю гараж	11.15982	16m	2
44	Liza blu	11.15982	16m	2
45	Shaleen Bhartiya	11.15982	16m	1
46	Vadim Pismennyy	11.15982	16m	1
47	Vitalik Simonov	11.15982	16m	5
48	Danil Zolotarev	11.15982	16m	1
49	Ivan Samorodskiy	11.15982	16m	1
50	deteron	11.15982	16m	1