MuseTalk - 一键创建高质量数字人（对口型）一键整合包，新增批量处理
需要N卡，显存12G起，有问题请再此跟帖，有时间会解答。
2024年5月17日更新：同步官方最新源代码，新增批量处理（可一键生成多个视频）。
温馨提醒：“ 远程主机强迫关闭了一个现有的连接。”这个非报错信息，可以忽略，没有任何副作用。
MuseTalk 是由腾讯团队开发的先进技术，项目地址：https://github.com/TMElyralab/MuseTalk，它是一个实时的音频驱动唇部同步模型。
该模型能够根据输入的音频信号，自动调整数字人物的面部图像，使其唇形与音频内容高度同步。这样，观众就能看到数字人物口型与声音完美匹配的效果。MuseTalk 特别适用于256 x 256像素的面部区域，且支持中文、英文和日文等多种语言输入。
在NVIDIA Tesla V100显卡上，MuseTalk 能够实现超过每秒30帧的实时推理速度。此外，用户还可以通过调整面部区域的中心点，进一步优化生成效果。
MuseTalk 可应用于多种场景，包括但不限于：
[*]视频配音与唇同步：制作配音视频时，MuseTalk 能够根据音频调整人物的口型，从而提升视频的真实感和观看体验。
[*]虚拟人视频生成：作为一整套虚拟人解决方案的一部分，MuseTalk 可以和 MuseV（视频生成模型）配合使用，创造出高度逼真的虚拟人演讲或表演视频。
[*]视频制作与编辑：在视频制作和编辑中，当需要更改角色台词或语言而不愿重新拍摄时，MuseTalk 提供了一个高效的解决方案。
[*]教育和培训：在教育领域，MuseTalk 可以用于制作语言教学视频，帮助学习者更准确地学习语言发音和口型。
[*]娱乐与社交媒体：内容创作者可以利用 MuseTalk 为照片或绘画作品添加口型动画，创造有趣的视频内容分享至社交媒体，为粉丝提供新颖的互动体验。
批量生成使用说明：
解压一键包，依次打开 MuseTalk\configs\inference，用记事本或者其他编辑器打开 test.yaml
task_0:
video_path: "data/video/1.mp4"
audio_path: "data/audio/1.wav"
bbox_shift: -7
task_1:
video_path: "data/video/2.mp4"
audio_path: "data/audio/2.wav"
bbox_shift: -7
一个视频对应一个task，以此类推，把所有的素材放到一个目录里，比如存放在data下的video和audio，一个存放视频，一个存放音频。
bbox就是控制嘴巴张开幅度的。
配置完成后，保存。
然后启动批量，如下图
等待自动批量处理完成即可。
下载地址：（下载前，请先阅读 使用说明 再下载，避免不必要的问题和纠纷）
**** 本内容需购买 ****
和上个版本点此跳转没有太大区别，主要新增了一键批量处理。 谢谢分享~~~~~~~~~~~~ 谢谢分享~~~~~~~~~~~~ 付完钱才看到最新版，能给最新版的链接吗，比较需要批处理 谢谢分享~~~~~~~~~~~~ 感谢大佬分享 麻烦问下B站作品声音用的那个软件 克隆的呀{:3_54:} kaopu88 发表于 2024-7-2 11:35
麻烦问下B站作品声音用的那个软件 克隆的呀
gpt-sovits 感谢大佬分享