CosyVoice V4版 - 阿里最新开源语音克隆、文本转语音项目 新增模型，大幅度提升转换速度，本地一键整合包下载
近日，阿里通义实验室发布开源语音大模型项目FunAudioLLM，而且一次包含两个模型：SenseVoice 和 CosyVoice。
今天分享的V4版基于官方9月29日更新版本，在上个版本的基础上，同步了官方最新代码，新增CosyVoice-300M-25Hz模型，新模型在克隆音色的推理速度上有了大幅度提升，总体速度提升了两倍。但缺点也是有的，速度提升的同时，牺牲了音色克隆的效果，但差别也不是太大。
CosyVoice专注自然语音生成，支持多语言、音色和情感控制，支持中英日粤韩5种语言的生成，效果显著优于传统语音生成模型。
仅需要3~10s的原始音频，CosyVoice即可生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。
而且CosyVoice支持以富文本或自然语言的形式，对生成语音的情感、韵律进行细粒度的控制，生音频在情感表现力上得到明显提升。
研究团队提供了基模型CosyVoice-300M、经过SFT微调后的模型CosyVoice-300M-SFT、以及支持细粒度控制的模型CosyVoice-300M-Instruct和最新的CosyVoice-300M-25Hz模型，可满足不同场景下的使用需求。CosyVoice-300M本身具备一定从文本内容中推断情感的能力，经过细粒度控制训练的模型CosyVoice-300M-Instruct在情感分类中的得分更高，具备更强的情感控制能力。
CosyVoice很好地建模了合成文本中的语义信息，达到了与人类发音人相当的水平。此外，通过对合成音频进行重打分，能够进一步降低识别的错误率，甚至在内容一致性和说话人相似度上超越人类。
使用教程参考之前的版本。注意，只支持N卡，使用前请确保驱动更新至官方最新版，驱动更新方法参考此贴：https://deepface.cc/thread-302-1-1.html已知问题，合成的音频点击下载无反应，等待官方修复。临时解决方案，右键 合成音频 音频另存为即可保存到本地。
下载地址：夸克网盘：https://pan.quark.cn/s/8013787652b3 更新了 期待 迫不及待来使用了 感谢分享，确实还可以
页:
[1]