FeaturedBanner-68c7c028

Обсуждение в ODS Slack #proj_mcs_challenge

FeaturedBanner-8987c22e

Обсуждение в telegram

<h3>О соревновании</h3>Распознавание моделей машин - практически важная задача для разнообразных кейсов использования: от верификации нарушения ПДД конкретной машиной до автоматизации заполнения заявок на сайтах продажи авто или страховых компаний. Множество существующих моделей - огромно и постоянно пополняется. В такой ситуации становится непрактично тренировать и обновлять классификатор для идентификации моделей. Альтернативное решение - постановка задачи в форме верификации, где методы должны определять соответствие двух изображений машин одной и той же модели.Наше соревнование ставит целью создание точного и быстрого верификатора моделей машин по картинкам. Решение должно быть максимально генерализованным: тестовые выборки отличаются разнообразием и по географии производителей (Европа/РФ/Азия/Америка), и по типу машины (легковые/грузовые/автобусы), и по времени производства модели (будут встречаться и снятые с производства), в то же время мы ограничиваем время инференса модели, приближая участников к real-world условиям работы.<h3>Правила участия</h3>Нажимая кнопку «Участвовать» и/или «Отправить решение», вы соглашаетесь с&nbsp;<a target="_blank" rel="noopener noreferrer" href="https://drive.google.com/file/d/1wuXtYGPsrT3dTLpRV3g9OC-TPld67zYw/view?usp=sharing">Правилами участия в соревновании</a>.<h3>Призовой фонд</h3>Участники соревнования поборются за призовой фонд в размере 600.000 рублей.<ul><li>1 место - 300 000 руб</li><li>2 место - 200 000 руб</li><li>3 место - 100 000 руб</li></ul><h3>Метрика</h3>Метрикой качества оценки решения является ROC-AUC по всей тестовой выборке. Для помощи участникам в обучении устойчивой модели на лидерборд будут выводиться значения ROC-AUC на различных доменах, связанных с географией производителя и типом машины, но без названия домена, чтобы избежать переобучения под них. так как в скрытой выборке могут использоваться другие модели автомобилей. Значения метрики на доменах на ранжирование не влияют.&nbsp;<h3>Baseline</h3>Вы можете воспользоваться <a target="_blank" rel="noopener noreferrer" href="https://github.com/AlexanderParkin/MCS2022.Baseline">baseline</a> решением от организатора соревнования. Решение основано на обучении &nbsp;resnet18 для задачи классификации модели автомобилей на датасете <a target="_blank" rel="noopener noreferrer" href="http://mmlab.ie.cuhk.edu.hk/datasets/comp_cars/index.html">CompCars</a>, удалении классификационного слоя и использовании эмбеддингов &nbsp;для оценки схожести моделей на изображениях.<h3>Этапы соревнования</h3>1 этап.Тестирование на открытой выборке в автоматическом режиме на платформе соревнования. По итогам 1 этапа фиксируется топ-15 участников, которые примут участие во 2 этапе.2 этап.Тестирование на скрытой выборке кода решения участника в Docker контейнере в ручном режиме. Решение присылается в .zip архиве, запускаемый файл - <code>inference.sh</code> (убедитесь, что он находится в корне архива, некоторое ПО при архивации создает дополнительную папку). В архиве могут находиться другие файлы, используемые вашим решением (вспомогательные скрипты, веса модели и т.д.). Предсказания следует сохранять в ./submission.csv. Формат <code>submission.csv</code> аналогичен submission_example.csv с первого этапа.В задаче используется образ с Kaggle соревнований <code>gcr.io/kaggle-gpu-images/python:v117</code>Доступные ресурсы:<ul><li>8 ядер CPU</li><li>62 Gb RAM</li><li>Nvidia Tesla A100</li></ul>Ограничения:<ul><li>размер архива 500Mb</li><li>ограничение по времени 10 мин</li><li>среднее время выполнения для 1 изображения: &lt;20 ms</li></ul>Контейнер запускается со следующими опциями:<code>docker run --cpus="8.0" --gpus 0 -v {{workspace_dir}:/workspace/ -v {private_test_data}:/private_test/:ro -w /workspace/ --memory 60g --network none gcr.io/kaggle-gpu-images/python:v117 sh inference.sh</code>Внутри контейнера доступа к сети нет, модули подгрузить не получится.Пример расположения файлов внутри докер контейнера:<code>├── private_test&nbsp;</code><code>│ ├── images</code><code>│ │ └── &nbsp;*.jpg&nbsp;</code><code>│ ├── images_w_boxes.csv&nbsp;</code><code>│ └── submission_list.csv</code><code>├── workspace</code><code>│ ├── inference.sh</code><code>│ ├── user_file1&nbsp;</code><code>│ ├── user_file2&nbsp;</code><code>│ ├── user_folder1&nbsp;</code><code>│ └── submission.csv // - сабмит записывать сюда&nbsp;</code> &nbsp;* До 23 июня 12:00 можно прислать организаторам zip архив с предварительным решеним &nbsp;для проверки работоспособности кода по 1 разу для каждой команды;<h3>Расписание:</h3><ul><li>28 мая - запуск соревнования</li><li>24 июня - завершение 1 этапа на открытой тестовой выборке, фиксация топ 15 участников</li><li>24 - 27 июня - запуск решений топ-15 на скрытой тестовой выборке.</li><li>1 июля - объявление и награждение призеров на саммите <a target="_blank" rel="noopener noreferrer" href="https://machinescansee.com">Machines Can See</a></li></ul>

VisionLabs приглашает принять участие в соревновании Machines Can See по верификации моделей автомобилей

Public

Public (selected)

Consent Data Processing (Data Souls)

<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" rel="noopener noreferrer" target="_blank">даю согласие</a>&nbsp;DataSouls на обработку моих персональных данных

Privacy Policy and User agreement (Data Souls)

ознакомлен и принимаю&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" rel="noopener noreferrer" target="_blank">Пользовательское соглашение</a>&nbsp;и&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" rel="noopener noreferrer" target="_blank">Политику конфиденциальности</a>&nbsp;DataSouls

first_name

First name

last_name

Last name

country

Country (lat)

city

City (lat)

email

Email

Occupation

Experience

Experience in DC

study_place2

Company/study place name

ods_slack_name

Ваш никнейм в слаке ods.ai

Registration application for Machines Can See Car Model Verification

Верификация моделей автомобилей / Car Model Verification

Predictions

В этом соревновании организаторами не предоставляются тренировочные данные, можно использовать любой открытый датасет доступный для некоммерческого использования. Например, <a href="http://mmlab.ie.cuhk.edu.hk/datasets/comp_cars/" rel="noopener noreferrer" target="_blank">CompCars</a> и/или <a href="http://ai.stanford.edu/~jkrause/cars/car_dataset.html" rel="noopener noreferrer" target="_blank">Stanford Cars</a>.

 
Набор данных для теста.

Архив <code>public_test.zip</code> содержит:

<ul>
	<li>Директорию <code>images</code> с изображениями;</li>
	<li>Список изображений <code>images_w_boxes.csv</code>
	<ul>
		<li><code>img_path</code> - название файла;</li>
		<li><code>bbox_x1</code>, <code>bbox_y1</code>, <code>bbox_x2</code>, <code>bbox_y2</code>&nbsp; - bounding box автомобиля;</li>
	</ul>
	</li>
	<li>Список пар изображений <code>submission_list.csv</code>:
	<ul>
		<li><code>id</code> - ID пары изображений</li>
		<li><code>img1</code>, <code>img2</code> - названия изображений в паре</li>
	</ul>
	</li>
</ul>

&nbsp;

Примеры изображений

<img src="https://storage.yandexcloud.net/ds-ods/files/content/2022/05/27/7bb1e118fd70/%D0%A1%D0%BD%D0%B8%D0%BC%D0%BE%D0%BA%20%D1%8D%D0%BA%D1%80%D0%B0%D0%BD%D0%B0%202022-05-27%20%D0%B2%2012.10.01.png" />

Сабмит файл

Решение для 1 этапа должно&nbsp;состоять из 2 колонок:

<ul>
	<li><code>id</code> - ID пары изображения из <code>submission_list.csv</code></li>
	<li><code>score</code> -&nbsp;степень схожести моделей для пары изображений <code>id</code>, диапазон значений: [0, 1]</li>
</ul>

<code>submission_example.csv</code> - пример сабмит файла для baseline

*формат решения для 2 этапа будет определен до 17 июня

public_test.zip

submission_example.csv

Materials (1,356 MB)