马上注册,下载更多AI资源软件
您需要 登录 才可以下载或查看,没有账号?立即注册
×
Ming-3.0-tts:让AI说人话!支持多语言、方言、笑声叹气,像导演一样控声音,声音设计克隆一键搞定 ... ... ...
Ming-3.0-tts 是蚂蚁集团 inclusionAI 团队于 2026 年 10 月开源的文字转语音(TTS)模型系列,采用 MIT 许可证,完全免费可商用。它是目前开源 TTS 里性价比很高的选择:小模型就能达到很强效果,控制方式直观(自然语言 + 标签),语言覆盖广,特别适合想快速做出自然、有表现力语音内容的开发者和创作者。
它提供两个版本:
0.5B 稠密模型:参数量约 5 亿,轻量易部署,适合大多数场景。
tiny(MoE 混合专家)模型:总参数 7.9B,实际每次推理只激活约 1.3B,支持更复杂的多角色对话。
主要特点
声音创作很灵活:可以用一段参考音频“克隆”某人的声音;也可以直接用文字描述想要的音色(比如“温柔女声、稍带磁性”);还内置 100+ 中文音色和 5 个英文音色。
用自然语言指挥说话方式:像导演一样用日常语言告诉模型“请用兴奋的语气、语速稍快一点”等,就能控制表达。
副语言标签:可以在文本里插入笑声、叹气、咳嗽等 14 种特殊标记,让声音更生动自然。
多语言 + 方言:支持中文、英文、德语、西班牙语、法语、韩语、日语,以及四川话、粤语。
情绪与基础属性控制:可调节情绪、语速、音高、音量。
多角色对话(仅 tiny 版):输入剧本和多个参考声音,就能生成像播客一样的多人对话。
音质与准确性出色:在独立评测(Artificial Analysis)中,发音鲁棒性排名第一(93.2%),受控音色克隆在开源模型中也排第一,发音清晰、文本还原度高。
模型输出高采样率(44.1 kHz)音频,整体框架是“文本 + 控制指令 → 语言模型 → 扩散变换器(DiT)生成音频”。
应用领域
有声书、短视频旁白、故事配音
智能助手、客服语音、产品语音提示
多语言内容本地化、方言内容创作
播客/对话式音频内容生成
需要高度可控、个性化声音的各类语音交互场景
使用教程:(建议N卡,显存4G起,支持50系显卡)
整合包包含所需所有节点,下载主程序和模型(ComfyUI文件夹),解压主程序一键包,将ComfyUI文件夹移动到主程序目录下即可。
WebUI模式:
双击启动进入WebUI,根据需要选择需要使用的模块,运行生成即可。
ComfyUI模式:
双击启动ComfyUI,进入WebUI后,点击左侧的 工作流程,选择对应的工作流。
根据需要选择需要使用的模块,运行即可。
注:长文、多人播客:建议把 max_steps 提到 500+
包含以下模块和功能
内置音色 ip:使用内置500中音色一键合成,无需参考录音。
音色设计:用文字描述希望生成的声音。
语音克隆:上传参考音频,再生成新语音。
自由指令:用自然语言控制表达,可选参考录音。
基础属性:自定义语速、音高和音量合成。
情感控制:使用参考音色并选择情感。
中文方言:选择粤语或川渝话。
多人对话:多个独立参考音色,生成对话内容。
软件目录结构:
📂 ComfyUI/
├── 📂 models/
│ ├── 📂 checkpoints/
│ │ └── 📂 Ming-3.0-tts-0.5b-int8-convrot
│ │ └── 📂 Ming-3.0-tts-tiny-9b-int8-convrot
│ ├── 📂 whisper/
│ │ └── 📂 large-v3-turbo
📂 deepface/
......
下载地址:
光鸭云盘:https://www.guangyapan.com/s/1961046586583298138_afKpfuS_zVounNhq
夸克网盘:
🔒付费内容 游客, 上上宾会员 可免费下载该资源, 点此开通上上宾 免费下载全站99%的付费资源。或单独支付 40碎银 下载该资源
百度网盘:
🔒付费内容 游客, 上上宾会员 可免费下载该资源, 点此开通上上宾 免费下载全站99%的付费资源。或单独支付 60碎银 下载该资源
|