CosyVoice V6 - 阿里最新开源语音克隆、文本转语音项目 全新2.0模型，修复情感控制，本地一键整合包下载

无言***

CosyVoice V6 - 阿里最新开源语音克隆、文本转语音项目 全新2.0模型，修复情感控制，本地一键整合包下载 .. ...

近日，阿里通义实验室发布开源语音大模型项目FunAudioLLM，而且一次包含两个模型：SenseVoice 和 CosyVoice。

CosyVoice专注自然语音生成，支持多语言、音色和情感控制，支持中英日粤韩5种语言的生成，效果显著优于传统语音生成模型。

仅需要3~10s的原始音频，CosyVoice即可生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。

而且CosyVoice支持以富文本或自然语言的形式，对生成语音的情感、韵律进行细粒度的控制，生音频在情感表现力上得到明显提升。

研究团队提供了基模型CosyVoice-300M、经过SFT微调后的模型CosyVoice-300M-SFT、以及支持细粒度控制的模型CosyVoice-300M-Instruct和最新的CosyVoice-300M-25Hz模型，可满足不同场景下的使用需求。CosyVoice-300M本身具备一定从文本内容中推断情感的能力，经过细粒度控制训练的模型CosyVoice-300M-Instruct在情感分类中的得分更高，具备更强的情感控制能力。

CosyVoice很好地建模了合成文本中的语义信息，达到了与人类发音人相当的水平。此外，通过对合成音频进行重打分，能够进一步降低识别的错误率，甚至在内容一致性和说话人相似度上超越人类。

今天分享的CosyVoice V6版基于官方2.0更新版本，（因为这是站内发布的第六个版本，所以简称CosyVoice V6版）同步了官方最新代码，新增CosyVoice2-0.5B模型

V6版只保留了核心且常用的3s极速复刻功能和自然语言控制 两个功能，模型也只保留最新的CosyVoice2-0.5B模型，删除无用库精简一键包体积。

与 1.0 版本相比，新版本提供了更准确、更稳定、更快、更好的语音生成能力。

1、发音准确度大幅度提升：发音错误率减少30%-50%，让语音生成更加清晰、准确；

2、音质提升：音质MOS评分从5.4提升至5.53；

3、超低延迟：150ms超低首包延迟，确保语音生成过程更加流畅，适合实时语音交互和在线语音翻译；

4、方言和口音调整：支持更细致的方言和口音调整，使生成的语音更加贴合目标地区的发音习惯,支持方言（粤语、四川话、上海话、天津话、武汉话等）；

5、更细粒度的情感控制：比如愉悦、悲伤、激动等，可生成更具表现力的语音

项目地址：https://github.com/FunAudioLLM/CosyVoice

使用教程：支持N卡，显存4G起，使用参考之前的版本。

注意，只支持N卡，基于CUDA12.1打包，所以需要本地安装CUDA12.X，环境使用前请确保驱动更新至官方最新版，驱动更新方法参考此贴：https://deepface.cc/thread-302-1-1.html

关于情感控制功能，目前支持高兴/悲伤/生气/害怕/反感等5种高表现力的语音情感以及粤语、四川话、上海话、天津话、武汉话等地方方言

使用方法：输入要合成的文本，上传参考音频。“输入instruct文本”这里输入你需要自定义的情感控制关键词，比如“上海话”，“高兴”等，最后生成即可。

下载地址：

迅雷云盘：https://pan.xunlei.com/s/VOGyq9tYEtBtDEGnVbOZFTTtA1?pwd=4f9s

夸克网盘：https://pan.quark.cn/s/9e32b28d4b68

百度网盘：

游客，上上宾会员可免费下载该资源，点此开通上上宾 免费下载全站99%的付费资源。或单独支付 30碎银 下载该资源立即购买

解压密码：https://deepface.cc/

ns***

又更新了，不错不错，谢谢

学***

感谢分享

来日***

粤语听着有点别扭

无言***

来日方长 发表于 2025-1-23 13:55
粤语听着有点别扭

我听着很正常，你是广东人？

来日***

无言以对 发表于 2025-1-23 14:01
我听着很正常，你是广东人？

是的，所以我听着有点怪

fhzyyx@***

感谢分享

touv***

CUDA报错：
    self._create_inference_session(self._fallback_providers, None)
  File "E:\AiTools\CosyVoiceV6\deepface\lib\site-packages\onnxruntime\capi\onnxruntime_inference_collection.py", line 483, in _create_inference_sessio
                                                                                                                       on
    sess.initialize_session(providers, provider_options, disabled_optimizers)
RuntimeError: D:\a\_work\1\s\onnxruntime\python\onnxruntime_pybind_state.cc:857 onnxruntime::python::CreateExecutionProviderInstance CUDA_PATH is set
                                                                                                                        but CUDA wasnt able to be loaded. Please install the correct version of CUDA andcuDNN as mentioned in the GPU requirements page  (https://onnxruntime.
                                                                                                                       .ai/docs/execution-providers/CUDA-ExecutionProvider.html#requirements),  make sure they're in the PATH, and that your GPU is supported.

我按常见问题帖子的指导安装了CUDA（早就安装过了），而且检查了版本，也是正常的。
是运行环境里需要单独把它的PATH添加一下还是怎么着。

touv***

failed to import ttsfrd, use WeTextProcessing instead
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
2025-01-30 20:06:42.7489137 [Ennxruntimeefault, provider_bridge_ort.cc:1546 onnxruntime::TryGetProviderInfo_CUDA] D:\a\_work\1\s\onnxruntime\core\session\provider_bridge_ort.cc:1209 onnxruntime:roviderLibrary::Get [ONNXRuntimeError] : 1 : FAIL : LoadLibrary failed with error 126 "" when trying to load "E:\AiTools\CosyVoiceV6\deepface\lib\site-packages\onnxruntime\capi\onnxruntime_providers_cuda.dll"


不太明白是哪里没弄对。

无言***

touvidia 发表于 2025-1-30 20:07
failed to import ttsfrd, use WeTextProcessing instead
Special tokens have been added in the vocabula ...

需要安装cuda 12.X并将12.X设置为当前使用CUDA