Датасет создавался самостоятельно - небольшие видео по 7-9 секунд для 10 классов; я постаралась подобрать движения, которые были бы похожи на движения/жесты персонала в условиях производства.
На видео ниже - пример класса Использование тачки
Обучение
Для классификации движений по извлеченным из видео признакам я иcпользовала LSTM-сеть, состоящую из нескольких слоев; на выходе - 10 классов.
В качестве лосс-функции была использована categorical_crossentropy, метрики - categorical_accuracy
На тесте удалось добиться точности классификации близкой к 0.8
Streamlit
Сервис получился довольно простым - кнопка загрузки видео, по окончании обработки появляется сообщение с веротяностью принадлежности к одному из классов.
Более подробно о настройке и запуске локально - на GitHub проекта
Our website uses cookies, including web analytics services. By using the website, you consent to the processing of personal data using cookies. You can find out more about the processing of personal data in the Privacy policy
