UniSE：多任务语音增强，一键搞定去噪、分离与提取 让嘈杂音频瞬间变清晰

无言***

UniSE：多任务语音增强，一键搞定去噪、分离与提取 让嘈杂音频瞬间变清晰

QuarkAudio-UniSE（简称 UniSE）是阿里巴巴 QuarkAudio 项目下的一个开源语音处理模型，简单说，它就是一个“多面手”语音清理和增强工具，用一个模型就能干好几件事，不需要切换不同工具或输入特殊指令。



主要功能

SR（Speech Restoration）：通用语音修复——去背景噪声、消除回声、修复丢包等，让模糊声音变清晰。
TSE（Target Speaker Extraction）：目标说话人提取——给你一段参考声音（比如某人的几秒录音），就能从嘈杂环境中“抠”出这个人的声音。
SS（Speech Separation）：语音分离——把混在一起的几个人说话分开。
AEC（Acoustic Echo Cancellation）：回声消除（开发中，下一版会加强）。



主要特点

统一且无需提示（Prompt-Free）：不管你要去噪、提取特定人声音，还是分离混在一起的声音，都不用额外告诉模型“现在干这个任务”，一个模型全搞定，超级方便。
基于大语言模型（LLM）的思路：它像 ChatGPT 一样用“自回归”方式一步步预测语音的“数字 token”（类似单词），然后转回清晰音频。底层用了 WavLM（提取语音特征） + BiCodec（语音编码/解码） + 解码器式语言模型，端到端一体化。
高效统一框架：模型参数不算特别大（约 63M 参数提到的一些讨论），却能处理多种语音增强任务，性能稳定。



应用领域

视频/音频后期处理：会议录音、直播、短视频剪辑里，提升人声清晰度，让“房间音”听起来像专业麦克风录的。
语音识别前置：把 noisy 音频清理后，再喂给语音转文字系统，准确率大幅提升。
助听设备、电话/会议系统：实时去噪、提取主要说话人。
多说话人场景：如采访、播客、吵闹环境下的语音分离和增强。
研究与开发：音频 AI 研究者可以基于它微调、扩展新任务。




使用教程：（建议N卡，显存8G起，支持50系显卡）

支持单次和批量两种处理模式
支持“语音增强”、“目标说话人提取”和“语音分离”三种模式
上传需要处理的音频，选择处理模式，提交增强即可。

目标说话人提取模式，需要上传需要提取的人声的参考音频

显存8G的用户，建议运存24G起，速度略慢，理论上建议显存12G起显卡用户使用。




下载地址：
迅雷云盘：https://pan.xunlei.com/s/VOxedZA687NcW8YdbLh9K3COA1?pwd=vsxq


夸克网盘：

🔒付费内容

游客， 上上宾会员 可免费下载该资源，点此开通上上宾 免费下载全站99%的付费资源。或单独支付 30碎银 下载该资源

立即购买

百度网盘：

🔒付费内容

游客， 上上宾会员 可免费下载该资源，点此开通上上宾 免费下载全站99%的付费资源。或单独支付 66碎银 下载该资源

立即购买

来日***

感觉还没有 ClearerVoice 的效果好