# Шумоподавление в реальном времени

## Проект разработан в процессе прохождения курса [My Firsrt Data Project](https://ods.ai/tracks/my_first_data_project).


## [Репозиторий](https://github.com/sir-timio/speech-denoiser)

## Генерация данных
Микс из чистого сигнала с шумом разного типа (стационарный, периодический, импульсный)

**Чистые данные**:
- Edinburgh 56 speakers
- Russian Open STT
-  AudioSet

**Шум**:
- Freesound
- UrbanSound8K

## Архитектура

Рассматривались 3 архитектуры:

1. **Wave-Unet**
2. **Demucs**
3. **GateWave** (собственная разработка, вдохновленная статьей gated conv).

## Проведение экспериментов 

Для отслеживания экспериментов был выбран **CleaML** в связке с **Tensorboard**. Дебаг вывод аудио и спектограмм. Реализация моделей выполнена на **Pytorch**, цикл обучения на **Pytorch Lightning**, а метрики с помощью **TorchMetrics**.

## Деплой

Работа в реальном времени возможна для **cli** и **gui**. В **web** версии выводится очищенная wave-форма и дополнительно траскриб речи.

- **web** страница с возможностью записи через микрофон
- **cli** через конфигурационный файл
- **gui** с настройкой через интерфейс

Система улучшения качества речи в реальном времени на основе нейросети. Прием и выдача звука через loopback driver. Работа с zoom/discord.

Real-time speech denoiseractive, Founded 2 years ago

Real-time speech denoiser
active,
Founded 2 years ago