Датасет создавался самостоятельно - небольшие видео по 7-9 секунд для 10 классов; я постаралась подобрать движения, которые были бы похожи на движения/жесты персонала в условиях производства.
На видео ниже - пример класса Использование тачки
Обучение
Для классификации движений по извлеченным из видео признакам я иcпользовала LSTM-сеть, состоящую из нескольких слоев; на выходе - 10 классов.
В качестве лосс-функции была использована categorical_crossentropy, метрики - categorical_accuracy
На тесте удалось добиться точности классификации близкой к 0.8
Streamlit
Сервис получился довольно простым - кнопка загрузки видео, по окончании обработки появляется сообщение с веротяностью принадлежности к одному из классов.
Более подробно о настройке и запуске локально - на GitHub проекта
