Real-time speech denoiser
active,
Founded 11 months ago

Система улучшения качества речи в реальном времени на основе нейросети. Прием и выдача звука через loopback driver. Работа с zoom/discord.

audiodenoiserspeechenhancementpytorchreal-time

Шумоподавление в реальном времени

Проект разработан в процессе прохождения курса My Firsrt Data Project.

Репозиторий

Генерация данных

Микс из чистого сигнала с шумом разного типа (стационарный, периодический, импульсный)

Чистые данные:

  • Edinburgh 56 speakers
  • Russian Open STT
  • AudioSet

Шум:

  • Freesound
  • UrbanSound8K

Архитектура

Рассматривались 3 архитектуры:

  1. Wave-Unet
  2. Demucs
  3. GateWave (собственная разработка, вдохновленная статьей gated conv).

Проведение экспериментов

Для отслеживания экспериментов был выбран CleaML в связке с Tensorboard. Дебаг вывод аудио и спектограмм. Реализация моделей выполнена на Pytorch, цикл обучения на Pytorch Lightning, а метрики с помощью TorchMetrics.

Деплой

Работа в реальном времени возможна для cli и gui. В web версии выводится очищенная wave-форма и дополнительно траскриб речи.

  • web страница с возможностью записи через микрофон
  • cli через конфигурационный файл
  • gui с настройкой через интерфейс

Cookies help us deliver our services. By using our services, you agree to our use of cookies.