Real-time speech denoiser
active,
Founded 2 years ago

Система улучшения качества речи в реальном времени на основе нейросети. Прием и выдача звука через loopback driver. Работа с zoom/discord.

audiodenoiserspeechenhancementpytorchreal-time

Шумоподавление в реальном времени

Проект разработан в процессе прохождения курса My Firsrt Data Project.

Репозиторий

Генерация данных

Микс из чистого сигнала с шумом разного типа (стационарный, периодический, импульсный)

Чистые данные:

  • Edinburgh 56 speakers
  • Russian Open STT
  • AudioSet

Шум:

  • Freesound
  • UrbanSound8K

Архитектура

Рассматривались 3 архитектуры:

  1. Wave-Unet
  2. Demucs
  3. GateWave (собственная разработка, вдохновленная статьей gated conv).

Проведение экспериментов

Для отслеживания экспериментов был выбран CleaML в связке с Tensorboard. Дебаг вывод аудио и спектограмм. Реализация моделей выполнена на Pytorch, цикл обучения на Pytorch Lightning, а метрики с помощью TorchMetrics.

Деплой

Работа в реальном времени возможна для cli и gui. В web версии выводится очищенная wave-форма и дополнительно траскриб речи.

  • web страница с возможностью записи через микрофон
  • cli через конфигурационный файл
  • gui с настройкой через интерфейс

Our website uses cookies, including web analytics services. By using the website, you consent to the processing of personal data using cookies. You can find out more about the processing of personal data in the Privacy policy