无言以对 发表于 2025-1-22 17:18:06

ClearerVoice V2版 - AI语音增强(语音降噪)、语音分离、语音超分辨率、音视频说话人提取 本地一键整合包下载


ClearerVoice 是由通义实验室开源 的一个集成 语音增强、语音分离、语音超分辨率和音视频说话人提取 等功能的语音处理框架。通过融合复数域深度学习算法,我们大幅提升了语音降噪和分离的性能,能够最大限度地消除背景噪声并保留语音清晰度,同时保持语音失真最小化。

随着语音技术的普及,语音质量已成为人们关注的焦点。环境噪声、混响、设备拾音等问题,常常使语音质量和可懂度大打折扣。无论是录制清晰语音却因周围环境嘈杂充满噪声,还是在地铁、餐厅等喧闹场景中与人通话时不得不提高嗓音,这些场景都体现了语音处理技术的迫切需求。特别是在复杂的多人对话环境中,如何有效分离目标说话人的语音信号,避免其他干扰,一直是语音处理领域的难点和热点。

ClearerVoice-Studio的出现,以上问题就迎刃而解了。和之前分享的 Remove-Noise 类似,但经过测试,ClearerVoice-Studio 的语音处理效果更好,不仅仅是简单的降噪,还包括降噪后语音效果增强,使得降噪增强后的音质更加纯净。非常适合需要训练语音模型的小伙伴。

ClearerVoice-Studio包含两个模块,ClearVoice和SpeechScore

ClearVoice主要是语音增强(降噪)和分离以及语音超分辨率,还能使用面部识别从多个说话人的视频中提取每个说话人的声音,并分割出不同说话人的场景片段。
SpeechScore则主要为评估语音质量而设计。


今天分享的 ClearerVoice V2版,主要是新增了最新的语音超分辨率模型,可以将音质更差的音频转换成清晰度更高的高质量音频。
同时修复了上个版本目标说话人提取功能,现在可以使用这个功能,从一段多人说话视频中提取特定的说话人音视频。
支持更多音频格式,包括 “wav”、“aac”、“ac3”、“aiff”、“flac”、“m4a”、“mp3”、“ogg”、“opus”、“wma”、“webm” 等。它还支持具有 16 位或 32 位精度的单声道和立体声声道。

ClearerVoice 能为您做什么?
语音降噪:将嘈杂的音频信号转化为高质量的清晰语音,适用于各种嘈杂环境,比如会议室、街道或咖啡馆。
语音超分:将低分辨率音频(有效采样率至少为 16,000 Hz)转换为采样率为 48,000 Hz 的高分辨率音频,提高了语音的感知质量
语音分离:从复杂混合音频中无缝提取目标语音,无论是双人对话还是多人会议,都可以做到“各听其声”。
目标说话人提取:精确识别并提取目标说话人的声音,比如从一段访谈视频中只提取特定嘉宾的发言部分。


适用场景
1、会议录音整理将多人会议的音频分离为独立的语音信号,同时降噪提升语音质量,方便后续整理与归档。
2、电话录音优化对嘈杂背景中的电话语音进行降噪和分离,确保客户服务记录清晰无误。
3、视频后期制作精确提取目标说话人语音,提高音频质量,减少后期处理时间。
4、语音研究为研究者提供便捷的工具包,结合质量评估模块快速验证模型效果。


使用教程:(建议N卡,显存6G起)
切换到不同的选项卡,页面有使用说明。
语音降噪有多个降噪模型可选择,大家根据需要选择对比,找到更适合自己的音频的模型。

注:关于V1版有人反馈转换后声音尖叫或牛叫等问题,可以用音频处理软件,比如AU将转换后的音频恢复至原始音频的采样率即可。


下载地址:
123网盘:https://www.123684.com/s/OYeA-wioBh提取码 D8BF
迅雷云盘:https://pan.xunlei.com/s/VOHChvmMgwBOcf0KcN6uDa3zA1?pwd=nt8a
夸克网盘:**** 本内容需购买 ****
百度网盘:**** 本内容需购买 ****

解压密码:https://deepface.cc/

nsctt 发表于 2025-1-22 21:10:00

这个不错,谢谢分享

来日方长 发表于 2025-1-23 13:52:52

测试了几个通话录音,效果是真的好,不愧是阿里!

sheshou189 发表于 2025-1-27 18:16:34

试试这个,应该好用,谢谢

0775 发表于 2025-2-3 01:16:07

支持一下看看咋回事哈哈

昏头乱弹 发表于 2025-2-16 17:29:04

LLVM ERROR: Symbol not found: __svml_cosf8_ha
请问一下,这个报错怎么解决。整合包可以运行,一到语音转换就这样报错。

无言以对 发表于 2025-2-16 17:34:36

昏头乱弹 发表于 2025-2-16 17:29
LLVM ERROR: Symbol not found: __svml_cosf8_ha
请问一下,这个报错怎么解决。整合包可以运行,一到语音转 ...

新人请看新人必看。

昏头乱弹 发表于 2025-2-16 19:54:17

昏头乱弹 发表于 2025-2-16 17:29
LLVM ERROR: Symbol not found: __svml_cosf8_ha
请问一下,这个报错怎么解决。整合包可以运行,一到语音转 ...

报 LLVM ERROR: Symbol not found: __svml_cosf8_ha 错误,一般出现在语音克隆项目上,这个是系统缺少svml_dispmd.dll这个动态链接库,下载这个文件,复制到 C:\Windows\System32中即可。
已经解决,谢谢!

toneleon 发表于 2025-3-28 18:32:32

123没赶上,唉呀,下次动作要快一点了
页: [1]
查看完整版本: ClearerVoice V2版 - AI语音增强(语音降噪)、语音分离、语音超分辨率、音视频说话人提取 本地一键整合包下载