CosyVoice V5 - 阿里最新开源语音克隆、文本转语音项目 全新2.0模型，大幅度提升转换速度，本地一键整合包下载
近日，阿里通义实验室发布开源语音大模型项目FunAudioLLM，而且一次包含两个模型：SenseVoice 和 CosyVoice。
今天分享的CosyVoice2版基于官方12月17日更新版本，（因为这是站内发布的第五个版本，所以简称CosyVoice V5版）同步了官方最新代码，新增CosyVoice2-0.5B模型与 1.0 版本相比，新版本提供了更准确、更稳定、更快、更好的语音生成能力。
1、发音准确度大幅度提升：发音错误率减少30%-50%，让语音生成更加清晰、准确；2、音质提升：音质MOS评分从5.4提升至5.53；3、超低延迟：150ms超低首包延迟，确保语音生成过程更加流畅，适合实时语音交互和在线语音翻译；4、方言和口音调整：支持更细致的方言和口音调整，使生成的语音更加贴合目标地区的发音习惯,支持方言（粤语、四川话、上海话、天津话、武汉话等）；5、更细粒度的情感控制：比如愉悦、悲伤、激动等，可生成更具表现力的语音CosyVoice专注自然语音生成，支持多语言、音色和情感控制，支持中英日粤韩5种语言的生成，效果显著优于传统语音生成模型。
仅需要3~10s的原始音频，CosyVoice即可生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。
而且CosyVoice支持以富文本或自然语言的形式，对生成语音的情感、韵律进行细粒度的控制，生音频在情感表现力上得到明显提升。
研究团队提供了基模型CosyVoice-300M、经过SFT微调后的模型CosyVoice-300M-SFT、以及支持细粒度控制的模型CosyVoice-300M-Instruct和最新的CosyVoice-300M-25Hz模型，可满足不同场景下的使用需求。CosyVoice-300M本身具备一定从文本内容中推断情感的能力，经过细粒度控制训练的模型CosyVoice-300M-Instruct在情感分类中的得分更高，具备更强的情感控制能力。
CosyVoice很好地建模了合成文本中的语义信息，达到了与人类发音人相当的水平。此外，通过对合成音频进行重打分，能够进一步降低识别的错误率，甚至在内容一致性和说话人相似度上超越人类。
使用教程：支持N卡，显存4G起，使用参考之前的版本。注意，只支持N卡，使用前请确保驱动更新至官方最新版，驱动更新方法参考此贴：https://deepface.cc/thread-302-1-1.html已知问题，首次启动生成无反应，需要再点击一次 生成音频 即可。
下载地址：迅雷云盘：https://pan.xunlei.com/s/VOEJtTK21lSI7evBd1_juV6kA1?pwd=w4yi 夸克网盘：https://pan.quark.cn/s/b53e39f557da 百度网盘：**** 本内容需购买 ****
这个不错啊，又出新版本了，期待一键包，谢谢 大佬 有没有办法api 调用
这个是目前最好的！楼主辛苦 楼主好，为什么我打开之后无法调用以前版本voice目录里克隆的音色，里面就没有voice这个目录呢 之前V4也是一样少好多功能相比V3版本来讲，是要覆盖到原来的V3版本里吗 LLVM ERROR: Symbol not found: __svml_cosf8_ha 3s复刻就提示这个错误，V3版运行正常 实际测试后，复刻声音相似度提高了，语气感情没啥提升，长文本出错率大了。
页:
[1]