Детекция движений на производстве
active,
Founded 11 months ago

Проект выполнен в рамках My First Data Project для ИТМО!

CVVideoDetectionMediapipeStreamlitITMO

Архитектура

  • MediaPipe для извлечения признаков
  • LSTM для классификации
  • Streamlit для MVP

Репозиторий проекта GitHub

Telegram для связи

Сбор данных

Датасет создавался самостоятельно - небольшие видео по 7-9 секунд для 10 классов; я постаралась подобрать движения, которые были бы похожи на движения/жесты персонала в условиях производства.

На видео ниже - пример класса Использование тачки

Обучение

Для классификации движений по извлеченным из видео признакам я иcпользовала LSTM-сеть, состоящую из нескольких слоев; на выходе - 10 классов.

В качестве лосс-функции была использована categorical_crossentropy, метрики - categorical_accuracy

На тесте удалось добиться точности классификации близкой к 0.8

Streamlit

Сервис получился довольно простым - кнопка загрузки видео, по окончании обработки появляется сообщение с веротяностью принадлежности к одному из классов. Более подробно о настройке и запуске локально - на GitHub проекта

Пример инференса

Пример инференса

Cookies help us deliver our services. By using our services, you agree to our use of cookies.