MuseTalk - 一键创建高质量数字人（对口型）一键整合包，新增批量处理

无言***

MuseTalk - 一键创建高质量数字人（对口型）一键整合包，新增批量处理

需要N卡，显存12G起，有问题请再此跟帖，有时间会解答。

2024年5月17日更新：同步官方最新源代码，新增批量处理（可一键生成多个视频）。
温馨提醒：“[WinError 10054] 远程主机强迫关闭了一个现有的连接。”这个非报错信息，可以忽略，没有任何副作用。

MuseTalk 是由腾讯团队开发的先进技术，项目地址：https://github.com/TMElyralab/MuseTalk，它是一个实时的音频驱动唇部同步模型。
该模型能够根据输入的音频信号，自动调整数字人物的面部图像，使其唇形与音频内容高度同步。这样，观众就能看到数字人物口型与声音完美匹配的效果。MuseTalk 特别适用于256 x 256像素的面部区域，且支持中文、英文和日文等多种语言输入。
在NVIDIA Tesla V100显卡上，MuseTalk 能够实现超过每秒30帧的实时推理速度。此外，用户还可以通过调整面部区域的中心点，进一步优化生成效果。

MuseTalk 可应用于多种场景，包括但不限于：

• 视频配音与唇同步：制作配音视频时，MuseTalk 能够根据音频调整人物的口型，从而提升视频的真实感和观看体验。
• 虚拟人视频生成：作为一整套虚拟人解决方案的一部分，MuseTalk 可以和 MuseV（视频生成模型）配合使用，创造出高度逼真的虚拟人演讲或表演视频。
• 视频制作与编辑：在视频制作和编辑中，当需要更改角色台词或语言而不愿重新拍摄时，MuseTalk 提供了一个高效的解决方案。
• 教育和培训：在教育领域，MuseTalk 可以用于制作语言教学视频，帮助学习者更准确地学习语言发音和口型。
  

• 娱乐与社交媒体：内容创作者可以利用 MuseTalk 为照片或绘画作品添加口型动画，创造有趣的视频内容分享至社交媒体，为粉丝提供新颖的互动体验。
  

批量生成使用说明：
解压一键包，依次打开 MuseTalk\configs\inference，用记事本或者其他编辑器打开 test.yaml

task_0:
video_path: "data/video/1.mp4"
audio_path: "data/audio/1.wav"
bbox_shift: -7
task_1:
video_path: "data/video/2.mp4"
audio_path: "data/audio/2.wav"
bbox_shift: -7

一个视频对应一个task，以此类推，把所有的素材放到一个目录里，比如存放在data下的video和audio，一个存放视频，一个存放音频。
bbox就是控制嘴巴张开幅度的。
配置完成后，保存。
然后启动批量，如下图

MuseTalk - 一键创建高质量数字人（对口型）一键整合包，新增批量处理

等待自动批量处理完成即可。

下载地址：（下载前，请先阅读 使用说明 再下载，避免不必要的问题和纠纷）

游客，上上宾会员可免费下载该资源，点此开通上上宾 免费下载全站99%的付费资源。或单独支付 99碎银 下载该资源立即购买

无言***

和上个版本点此跳转没有太大区别，主要新增了一键批量处理。

sz***

谢谢分享~~~~~~~~~~~~

15083***

谢谢分享~~~~~~~~~~~~

11345***

付完钱才看到最新版，能给最新版的链接吗，比较需要批处理

浪***

谢谢分享~~~~~~~~~~~~

ad***

感谢大佬分享

kao***

麻烦问下  B站作品声音用的那个软件 克隆的呀

无言***

kaopu88 发表于 2024-7-2 11:35
麻烦问下  B站作品声音用的那个软件 克隆的呀

gpt-sovits

liu0***

感谢大佬分享