无言以对 发表于 2024-6-22 13:33:55

AudioSep:从音频中分离出特定声音(人声、笑声、噪音、乐器等)本地一键整合包下载



AudioSep是一种 AI 模型,可以使用自然语言查询进行声音分离。这一创新性的模型由Audio-AGI开发,使用户能够通过简单的语言描述来分离各种声音源。

比如在嘈杂的人流车流中说话的录音中,可以分别提取干净的人声说话声音和嘈杂的人流车流噪声。可以根据需求分离,保留人声或者噪声。甚至可以单独提取声音中的笑声。除此之外,还能提取伴奏声音里指定的乐器声音,比如一段钢琴和吉他合奏曲目,需要单独分离钢琴曲,就可以用这个项目来实现。
但缺点是目前不支持歌曲的人声和伴奏分离,如果有类似需求,可以尝试用 UVR5 来分离,这个工具恰好弥补了UVR5的不足,两者相辅相成,AI语音项目里的两个神器。
做AI语音训练的人都知道,一段干净的纯人声是多么的重要,一个声音模型的好坏,就取决于人声素材的纯净与否,这个工具的出现,大大解决了分离声音素材噪声的问题,相信在这个工具的加持下,训练的声音模型会有本质的提升。

除了使用现有模型分离,还支持自己训练指定的音频数据集模型来实现特殊的音频分离场景。

我们来听两段分离案例
第一段:打字声伴随着防空警报的响声



第二段:分离防空警报声,只保留打字声



再来听一段从嘈杂的背景声中分离人的笑声

第一段:原声



第二段:分离背景声,保留人的笑声



怎么样,效果是不是很惊艳。其他的大家可以自行尝试


项目地址:https://github.com/Audio-AGI/AudioSep


技术分析
AudioSep 基于先进的神经网络模型,如 U-Net 和 Conv-TasNet 等,实现了对音频信号的精细处理。这些模型经过大量训练数据的迭代,能够识别并提取出音频中的各个独立成分,例如人声、背景音乐、环境噪音等。项目采用了 PyTorch 框架,提供了一个易于理解和扩展的代码结构,使得开发者可以方便地定制自己的模型或调整参数以适应特定需求。

此外,AudioSep 还集成了实时音频处理功能,支持直接读取和处理麦克风输入的声音,这对于开发语音增强应用或者智能音频设备非常有用。

应用场景
AudioSep 的能力使其在多个领域具有广泛的应用:

音视频编辑:在电影制作或视频后期中,可以单独提取人声或背景音乐,进行精细化混音。
语音识别与对话系统:通过分离出人声,提高语音识别系统的准确性,并实现更好的人机交互体验。
噪声抑制:在嘈杂环境下,如电话会议或直播,可以有效降低背景噪声,提升语音清晰度。
音乐创作:对于音乐制作人,AudioSep 可以帮助他们从已有的录音中提取独立乐器轨道,进行再创造。

特点与优势
高性能:AudioSep 使用高效的模型设计,能够在资源有限的设备上运行,为移动端应用提供了可能。
易用性:提供详细的文档和示例代码,降低了开发者入门的门槛。
模块化设计:每个组件都可以独立使用,允许开发者根据需要进行灵活组合。
开源社区:依托 GitCode 平台,AudioSep 拥有一个活跃的开发社区,持续推动项目改进和创新。


使用说明:

双击启动一键整合包,点击一键启动,等待自动跳转到WebUI界面




点击上传需要分离的音频素材,如下图



输入要保留的音频元素,比如从噪声中分离说话的声音,就输入 speech,英文不好的可以借助翻译工具


最后点提取,等待完成即可。


成功后,输出区域会显示提取后的音频,可以点击试听,并根据需要下载到本地。如下图





结语
无论是专业开发者还是业余爱好者,AudioSep 都为探索音频处理的新边界提供了强大的工具。如果你正在寻找一种高效、准确的音频源分离方案,不妨尝试一下 AudioSep,它将带你进入一个全新的声音世界体验。

下载地址:
**** 本内容需购买 ****

llmm0o 发表于 2024-9-24 07:32:56

本帖最后由 llmm0o 于 2024-9-24 12:07 编辑

下载太慢了,如果提供磁力方式最好。
下了一夜,结果解压了1.65GB后报错:数据错误:密码错误?

molamola 发表于 2024-9-24 13:48:40

感谢提供

dang920 发表于 2024-9-24 14:07:57

感谢提供,我试一试

su8824 发表于 2024-9-24 17:13:19

感谢提供!!

gyd25775 发表于 2024-9-24 20:45:21

:handshake

water 发表于 2024-9-24 21:02:17

感谢分享

water 发表于 2024-9-24 21:18:51

回复错帖子了,删除回复

yipoo 发表于 2024-9-25 00:01:28

楼主辛苦!谢谢分享

CGsunny 发表于 2024-9-25 08:44:38

这个推理速度怎么样?
页: [1] 2 3
查看完整版本: AudioSep:从音频中分离出特定声音(人声、笑声、噪音、乐器等)本地一键整合包下载