Верификация моделей автомобилей / Car Model Verification

О соревновании

Распознавание моделей машин - практически важная задача для разнообразных кейсов использования: от верификации нарушения ПДД конкретной машиной до автоматизации заполнения заявок на сайтах продажи авто или страховых компаний. Множество существующих моделей - огромно и постоянно пополняется. В такой ситуации становится непрактично тренировать и обновлять классификатор для идентификации моделей. Альтернативное решение - постановка задачи в форме верификации, где методы должны определять соответствие двух изображений машин одной и той же модели.

Наше соревнование ставит целью создание точного и быстрого верификатора моделей машин по картинкам. Решение должно быть максимально генерализованным: тестовые выборки отличаются разнообразием и по географии производителей (Европа/РФ/Азия/Америка), и по типу машины (легковые/грузовые/автобусы), и по времени производства модели (будут встречаться и снятые с производства), в то же время мы ограничиваем время инференса модели, приближая участников к real-world условиям работы.

Правила участия

Нажимая кнопку «Участвовать» и/или «Отправить решение», вы соглашаетесь с Правилами участия в соревновании.

Призовой фонд

Участники соревнования поборются за призовой фонд в размере 600.000 рублей.

• 1 место - 300 000 руб
• 2 место - 200 000 руб
• 3 место - 100 000 руб

Метрика

Метрикой качества оценки решения является ROC-AUC по всей тестовой выборке. Для помощи участникам в обучении устойчивой модели на лидерборд будут выводиться значения ROC-AUC на различных доменах, связанных с географией производителя и типом машины, но без названия домена, чтобы избежать переобучения под них. так как в скрытой выборке могут использоваться другие модели автомобилей. Значения метрики на доменах на ранжирование не влияют. 

Baseline

Вы можете воспользоваться baseline решением от организатора соревнования. Решение основано на обучении  resnet18 для задачи классификации модели автомобилей на датасете CompCars, удалении классификационного слоя и использовании эмбеддингов  для оценки схожести моделей на изображениях.

Этапы соревнования

1 этап.

Тестирование на открытой выборке в автоматическом режиме на платформе соревнования. По итогам 1 этапа фиксируется топ-15 участников, которые примут участие во 2 этапе.

2 этап.

Тестирование на скрытой выборке кода решения участника в Docker контейнере в ручном режиме. Решение присылается в .zip архиве, запускаемый файл - inference.sh (убедитесь, что он находится в корне архива, некоторое ПО при архивации создает дополнительную папку). В архиве могут находиться другие файлы, используемые вашим решением (вспомогательные скрипты, веса модели и т.д.). Предсказания следует сохранять в ./submission.csv. Формат submission.csv аналогичен submission_example.csv с первого этапа.

В задаче используется образ с Kaggle соревнований gcr.io/kaggle-gpu-images/python:v117

Доступные ресурсы:

• 8 ядер CPU
• 62 Gb RAM
• Nvidia Tesla A100

Ограничения:

• размер архива 500Mb
• ограничение по времени 10 мин
• среднее время выполнения для 1 изображения: <20 ms

Контейнер запускается со следующими опциями:

docker run --cpus="8.0" --gpus 0 -v {{workspace_dir}:/workspace/ -v {private_test_data}:/private_test/:ro -w /workspace/ --memory 60g --network none gcr.io/kaggle-gpu-images/python:v117 sh inference.sh

Внутри контейнера доступа к сети нет, модули подгрузить не получится.

Пример расположения файлов внутри докер контейнера:

├── private_test 

│ ├── images

│ │ └──  *.jpg 

│ ├── images_w_boxes.csv 

│ └── submission_list.csv

├── workspace

│ ├── inference.sh

│ ├── user_file1 

│ ├── user_file2 

│ ├── user_folder1 

│ └── submission.csv // - сабмит записывать сюда 

 * До 23 июня 12:00 можно прислать организаторам zip архив с предварительным решеним  для проверки работоспособности кода по 1 разу для каждой команды;

Расписание:

• 28 мая - запуск соревнования
• 24 июня - завершение 1 этапа на открытой тестовой выборке, фиксация топ 15 участников
• 24 - 27 июня - запуск решений топ-15 на скрытой тестовой выборке.
• 1 июля - объявление и награждение призеров на саммите Machines Can See