CosyVoice V6 - 阿里最新开源语音克隆、文本转语音项目 全新2.0模型，修复情感控制，本地一键整合包下载
近日，阿里通义实验室发布开源语音大模型项目FunAudioLLM，而且一次包含两个模型：SenseVoice 和 CosyVoice。CosyVoice专注自然语音生成，支持多语言、音色和情感控制，支持中英日粤韩5种语言的生成，效果显著优于传统语音生成模型。
仅需要3~10s的原始音频，CosyVoice即可生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。
而且CosyVoice支持以富文本或自然语言的形式，对生成语音的情感、韵律进行细粒度的控制，生音频在情感表现力上得到明显提升。
研究团队提供了基模型CosyVoice-300M、经过SFT微调后的模型CosyVoice-300M-SFT、以及支持细粒度控制的模型CosyVoice-300M-Instruct和最新的CosyVoice-300M-25Hz模型，可满足不同场景下的使用需求。CosyVoice-300M本身具备一定从文本内容中推断情感的能力，经过细粒度控制训练的模型CosyVoice-300M-Instruct在情感分类中的得分更高，具备更强的情感控制能力。
CosyVoice很好地建模了合成文本中的语义信息，达到了与人类发音人相当的水平。此外，通过对合成音频进行重打分，能够进一步降低识别的错误率，甚至在内容一致性和说话人相似度上超越人类。
今天分享的CosyVoice V6版基于官方2.0更新版本，（因为这是站内发布的第六个版本，所以简称CosyVoice V6版）同步了官方最新代码，新增CosyVoice2-0.5B模型V6版只保留了核心且常用的3s极速复刻功能和自然语言控制 两个功能，模型也只保留最新的CosyVoice2-0.5B模型，删除无用库精简一键包体积。
与 1.0 版本相比，新版本提供了更准确、更稳定、更快、更好的语音生成能力。
1、发音准确度大幅度提升：发音错误率减少30%-50%，让语音生成更加清晰、准确；2、音质提升：音质MOS评分从5.4提升至5.53；3、超低延迟：150ms超低首包延迟，确保语音生成过程更加流畅，适合实时语音交互和在线语音翻译；4、方言和口音调整：支持更细致的方言和口音调整，使生成的语音更加贴合目标地区的发音习惯,支持方言（粤语、四川话、上海话、天津话、武汉话等）；5、更细粒度的情感控制：比如愉悦、悲伤、激动等，可生成更具表现力的语音
项目地址：https://github.com/FunAudioLLM/CosyVoice
使用教程：支持N卡，显存4G起，使用参考之前的版本。注意，只支持N卡，基于CUDA12.1打包，所以需要本地安装CUDA12.X，环境使用前请确保驱动更新至官方最新版，驱动更新方法参考此贴：https://deepface.cc/thread-302-1-1.html关于情感控制功能，目前支持高兴/悲伤/生气/害怕/反感等5种高表现力的语音情感以及粤语、四川话、上海话、天津话、武汉话等地方方言使用方法：输入要合成的文本，上传参考音频。“输入instruct文本”这里输入你需要自定义的情感控制关键词，比如“上海话”，“高兴”等，最后生成即可。
下载地址：迅雷云盘：https://pan.xunlei.com/s/VOGyq9tYEtBtDEGnVbOZFTTtA1?pwd=4f9s 夸克网盘：https://pan.quark.cn/s/9e32b28d4b68百度网盘：**** 本内容需购买 ****
解压密码：https://deepface.cc/ 又更新了，不错不错，谢谢 感谢分享 粤语听着有点别扭;P 来日方长 发表于 2025-1-23 13:55
粤语听着有点别扭
我听着很正常，你是广东人？ 无言以对 发表于 2025-1-23 14:01
我听着很正常，你是广东人？
:lol是的，所以我听着有点怪 感谢分享 CUDA报错：
self._create_inference_session(self._fallback_providers, None)
File "E:\AiTools\CosyVoiceV6\deepface\lib\site-packages\onnxruntime\capi\onnxruntime_inference_collection.py", line 483, in _create_inference_sessio
on
sess.initialize_session(providers, provider_options, disabled_optimizers)
RuntimeError: D:\a\_work\1\s\onnxruntime\python\onnxruntime_pybind_state.cc:857 onnxruntime::python::CreateExecutionProviderInstance CUDA_PATH is set
but CUDA wasnt able to be loaded. Please install the correct version of CUDA andcuDNN as mentioned in the GPU requirements page(https://onnxruntime.
.ai/docs/execution-providers/CUDA-ExecutionProvider.html#requirements),make sure they're in the PATH, and that your GPU is supported.
我按常见问题帖子的指导安装了CUDA（早就安装过了），而且检查了版本，也是正常的。
是运行环境里需要单独把它的PATH添加一下还是怎么着。 failed to import ttsfrd, use WeTextProcessing instead
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
2025-01-30 20:06:42.7489137 D:\a\_work\1\s\onnxruntime\core\session\provider_bridge_ort.cc:1209 onnxruntime::ProviderLibrary::Get : 1 : FAIL : LoadLibrary failed with error 126 "" when trying to load "E:\AiTools\CosyVoiceV6\deepface\lib\site-packages\onnxruntime\capi\onnxruntime_providers_cuda.dll"
不太明白是哪里没弄对。
touvidia 发表于 2025-1-30 20:07
failed to import ttsfrd, use WeTextProcessing instead
Special tokens have been added in the vocabula ...
需要安装cuda 12.X并将12.X设置为当前使用CUDA