FeaturedBanner-68c7c028

Обсуждение в ODS Slack #proj_mcs_challenge

FeaturedBanner-8987c22e

Обсуждение в telegram

<h3>О соревновании</h3>Распознавание моделей машин - практически важная задача для разнообразных кейсов использования: от верификации нарушения ПДД конкретной машиной до автоматизации заполнения заявок на сайтах продажи авто или страховых компаний. Множество существующих моделей - огромно и постоянно пополняется. В такой ситуации становится непрактично тренировать и обновлять классификатор для идентификации моделей. Альтернативное решение - постановка задачи в форме верификации, где методы должны определять соответствие двух изображений машин одной и той же модели.Наше соревнование ставит целью создание точного и быстрого верификатора моделей машин по картинкам. Решение должно быть максимально генерализованным: тестовые выборки отличаются разнообразием и по географии производителей (Европа/РФ/Азия/Америка), и по типу машины (легковые/грузовые/автобусы), и по времени производства модели (будут встречаться и снятые с производства), в то же время мы ограничиваем время инференса модели, приближая участников к real-world условиям работы.<h3>Правила участия</h3>Нажимая кнопку «Участвовать» и/или «Отправить решение», вы соглашаетесь с&nbsp;<a target="_blank" rel="noopener noreferrer" href="https://drive.google.com/file/d/1wuXtYGPsrT3dTLpRV3g9OC-TPld67zYw/view?usp=sharing">Правилами участия в соревновании</a>.<h3>Призовой фонд</h3>Участники соревнования поборются за призовой фонд в размере 600.000 рублей.<ul><li>1 место - 300 000 руб</li><li>2 место - 200 000 руб</li><li>3 место - 100 000 руб</li></ul><h3>Метрика</h3>Метрикой качества оценки решения является ROC-AUC по всей тестовой выборке. Для помощи участникам в обучении устойчивой модели на лидерборд будут выводиться значения ROC-AUC на различных доменах, связанных с географией производителя и типом машины, но без названия домена, чтобы избежать переобучения под них. так как в скрытой выборке могут использоваться другие модели автомобилей. Значения метрики на доменах на ранжирование не влияют.&nbsp;<h3>Baseline</h3>Вы можете воспользоваться <a target="_blank" rel="noopener noreferrer" href="https://github.com/AlexanderParkin/MCS2022.Baseline">baseline</a> решением от организатора соревнования. Решение основано на обучении &nbsp;resnet18 для задачи классификации модели автомобилей на датасете <a target="_blank" rel="noopener noreferrer" href="http://mmlab.ie.cuhk.edu.hk/datasets/comp_cars/index.html">CompCars</a>, удалении классификационного слоя и использовании эмбеддингов &nbsp;для оценки схожести моделей на изображениях.<h3>Этапы соревнования</h3>1 этап.Тестирование на открытой выборке в автоматическом режиме на платформе соревнования. По итогам 1 этапа фиксируется топ-15 участников, которые примут участие во 2 этапе.2 этап.Тестирование на скрытой выборке кода решения участника в Docker контейнере в ручном режиме. Решение присылается в .zip архиве, запускаемый файл - <code>inference.sh</code> (убедитесь, что он находится в корне архива, некоторое ПО при архивации создает дополнительную папку). В архиве могут находиться другие файлы, используемые вашим решением (вспомогательные скрипты, веса модели и т.д.). Предсказания следует сохранять в ./submission.csv. Формат <code>submission.csv</code> аналогичен submission_example.csv с первого этапа.В задаче используется образ с Kaggle соревнований <code>gcr.io/kaggle-gpu-images/python:v117</code>Доступные ресурсы:<ul><li>8 ядер CPU</li><li>62 Gb RAM</li><li>Nvidia Tesla A100</li></ul>Ограничения:<ul><li>размер архива 500Mb</li><li>ограничение по времени 10 мин</li><li>среднее время выполнения для 1 изображения: &lt;20 ms</li></ul>Контейнер запускается со следующими опциями:<code>docker run --cpus="8.0" --gpus 0 -v {{workspace_dir}:/workspace/ -v {private_test_data}:/private_test/:ro -w /workspace/ --memory 60g --network none gcr.io/kaggle-gpu-images/python:v117 sh inference.sh</code>Внутри контейнера доступа к сети нет, модули подгрузить не получится.Пример расположения файлов внутри докер контейнера:<code>├── private_test&nbsp;</code><code>│ ├── images</code><code>│ │ └── &nbsp;*.jpg&nbsp;</code><code>│ ├── images_w_boxes.csv&nbsp;</code><code>│ └── submission_list.csv</code><code>├── workspace</code><code>│ ├── inference.sh</code><code>│ ├── user_file1&nbsp;</code><code>│ ├── user_file2&nbsp;</code><code>│ ├── user_folder1&nbsp;</code><code>│ └── submission.csv // - сабмит записывать сюда&nbsp;</code> &nbsp;* До 23 июня 12:00 можно прислать организаторам zip архив с предварительным решеним &nbsp;для проверки работоспособности кода по 1 разу для каждой команды;<h3>Расписание:</h3><ul><li>28 мая - запуск соревнования</li><li>24 июня - завершение 1 этапа на открытой тестовой выборке, фиксация топ 15 участников</li><li>24 - 27 июня - запуск решений топ-15 на скрытой тестовой выборке.</li><li>1 июля - объявление и награждение призеров на саммите <a target="_blank" rel="noopener noreferrer" href="https://machinescansee.com">Machines Can See</a></li></ul>

VisionLabs приглашает принять участие в соревновании Machines Can See по верификации моделей автомобилей

Public

Public (selected)

Consent Data Processing (Data Souls)

<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2022-01-31-%D0%A1%D0%BE%D0%B3%D0%BB%D0%B0%D1%81%D0%B8%D0%B5%20%D0%BD%D0%B0%20%D0%BE%D0%B1%D1%80%20%D0%9F%D0%94%D0%BD.pdf" rel="noopener noreferrer" target="_blank">даю согласие</a>&nbsp;DataSouls на обработку моих персональных данных

Privacy Policy and User agreement (Data Souls)

ознакомлен и принимаю&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-05-11-%D0%9F%D0%A1.pdf" rel="noopener noreferrer" target="_blank">Пользовательское соглашение</a>&nbsp;и&nbsp;<a data-sk="tooltip_parent" data-stringify-link="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" delay="150" href="https://storage.yandexcloud.net/ds-events/datafusion2022/documents/2021-08-30-%D0%9F%D0%9A.pdf" rel="noopener noreferrer" target="_blank">Политику конфиденциальности</a>&nbsp;DataSouls

first_name

First name

last_name

Last name

country

Country (lat)

city

City (lat)

email

Email

Occupation

Experience

Experience in DC

study_place2

Company/study place name

ods_slack_name

Ваш никнейм в слаке ods.ai

Registration application for Machines Can See Car Model Verification

Верификация моделей автомобилей / Car Model Verification

#	Teams (78)	ROC AUC	Domain 1	Domain 2	Domain 3	Domain 4	Domain 5	Last	Entries
1	MiniFlex	0.97571	0.985	0.944	0.992	0.982	0.994	22m	92
2	GigaFlex	0.96841	0.976	0.933	0.974	0.974	0.995	22m	88
3	NANA	0.95631	0.966	0.888	0.971	0.966	0.989	22m	61
4	WorstFitting	0.94368	0.958	0.831	0.973	0.957	0.992	22m	26
5	go-ippi	0.91738	0.925	0.857	0.958	0.927	0.959	22m	64
6	Sergey Zlobin	0.89965	0.922	0.828	0.967	0.919	0.924	22m	72
7	Ivan Alexandrov	0.89894	0.919	0.841	0.955	0.918	0.932	22m	44
8	alexnikko	0.89623	0.909	0.837	0.956	0.913	0.924	22m	41
9	6269742E6C792F504F476861	0.89487	0.909	0.82	0.951	0.919	0.921	22m	20
10	Ruslan Smirnov	0.89442	0.905	0.795	0.954	0.906	0.926	22m	7
11	Zf-turbo Роман	0.89428	0.906	0.822	0.942	0.918	0.912	22m	17
12	Emin Tagiev	0.89334	0.908	0.805	0.955	0.911	0.893	22m	25
13	i hate cv	0.89215	0.912	0.82	0.954	0.913	0.91	22m	57
14	Milenkin Aleron	0.89002	0.905	0.837	0.946	0.91	0.93	22m	13
15	sanseymysamba	0.8889	0.92	0.848	0.948	0.918	0.939	22m	60
16	Ann Kondratieva	0.88889	0.92	0.846	0.948	0.918	0.939	22m	1
17	geese	0.88577	0.902	0.812	0.93	0.905	0.881	22m	71
18	OUT OF COMPETITION	0.8777	0.897	0.782	0.931	0.895	0.882	22m	16
19	Nikita Dilman	0.87515	0.885	0.793	0.933	0.895	0.896	22m	73
20	badbul	0.87292	0.888	0.797	0.936	0.895	0.877	22m	17
21	Konstantin Eremin	0.87062	0.879	0.772	0.921	0.895	0.874	22m	21
22	OUT OF COMPETITION	0.87046	0.891	0.795	0.929	0.893	0.9	22m	7
23	Andrey M	0.8696	0.894	0.798	0.93	0.9	0.895	22m	9
24	Kat Lt	0.86448	0.879	0.782	0.909	0.891	0.851	22m	24
25	Mikhail Kuznetsov	0.8582	0.87	0.802	0.917	0.88	0.859	22m	7
26	Ruby	0.85803	0.877	0.772	0.93	0.885	0.849	22m	8
27	Sergey Volnov	0.85708	0.879	0.772	0.926	0.882	0.85	22m	11
28	Aleksandr Smirnov	0.85697	0.866	0.763	0.917	0.877	0.832	22m	5
29	Hard Chill	0.85366	0.876	0.753	0.925	0.888	0.822	22m	14
30	Daniil Stepanov	0.85177	0.864	0.751	0.913	0.879	0.86	22m	5
31	Alexander Melekhin	0.84045	0.868	0.736	0.919	0.874	0.768	22m	12
32	Valerii Nikiforov	0.83952	0.845	0.784	0.91	0.864	0.84	22m	10
33	Maxim Brazhnikov	0.83754	0.852	0.753	0.904	0.857	0.808	22m	8
34	Alexander Anokhin	0.83252	0.848	0.702	0.878	0.855	0.83	22m	7
35	Deja Vu	0.83004	0.831	0.748	0.87	0.853	0.833	22m	38
36	Valentin Khrulkov	0.82885	0.859	0.807	0.867	0.859	0.858	22m	2
37	777	0.82731	0.835	0.797	0.871	0.848	0.837	22m	6
38	Artem Konshin	0.81858	0.832	0.671	0.866	0.855	0.843	22m	5
39	Michail Kon	0.81637	0.811	0.807	0.824	0.832	0.861	22m	5
40	Andrei Parkov	0.81509	0.824	0.71	0.892	0.835	0.777	22m	5
41	RandomSeed42	0.8127	0.823	0.764	0.883	0.844	0.774	22m	18
42	Dan As	0.80827	0.797	0.78	0.807	0.822	0.834	22m	9
43	Azamat Kanametov	0.80767	0.816	0.682	0.887	0.832	0.744	22m	9
44	Danila Milovanov	0.80632	0.794	0.792	0.836	0.824	0.844	22m	13
45	1234	0.80549	0.817	0.743	0.851	0.827	0.773	22m	9
46	Alexander Popenov	0.8054	0.811	0.75	0.867	0.824	0.775	22m	8
47	Andrew Denisov	0.80281	0.803	0.716	0.833	0.831	0.812	22m	4
48	vuvko	0.80154	0.805	0.709	0.825	0.834	0.812	22m	5
49	Mikhail Edukov	0.79973	0.812	0.721	0.863	0.824	0.734	22m	7
50	Nikita Vasilev	0.79848	0.807	0.714	0.869	0.817	0.732	22m	5