|
MuseTalk V2版 - 一键创建高质量AI数字人，音频驱动视频生成数字人 本地一键整合包下载 ... ... ... ... ...
MuseTalk 是由腾讯团队开发的音频驱动唇部同步模型，项目地址：https://github.com/TMElyralab/MuseTalk，它不仅支持本地生成，还是一个实时的音频驱动唇部同步模型。
该模型能够根据输入的音频信号，自动调整数字人物的面部图像，使其唇形与音频内容高度同步。这样，观众就能看到数字人物口型与声音完美匹配的效果。MuseTalk 特别适用于256 x 256像素的面部区域，且支持中文、英文和日文等多种语言输入。
在NVIDIA Tesla V100显卡上，MuseTalk 能够实现超过每秒30帧的实时推理速度。此外，用户还可以通过调整面部区域的中心点，进一步优化生成效果。
MuseTalk V2版主要更新内容：
优化显存占用，之前的老版需要12G显存才能运行，现在只需要8G显存即可。
提升推理速度，V2版生成速度相比之前的版本提升30%左右。
删除不必要的模块，压缩一键包体积，一键包文件大小缩小30%。
MuseTalk 可应用于多种场景，包括但不限于： - 视频配音与唇同步：制作配音视频时，MuseTalk 能够根据音频调整人物的口型，从而提升视频的真实感和观看体验。
- 虚拟人视频生成：作为一整套虚拟人解决方案的一部分，MuseTalk 可以和 MuseV（视频生成模型）配合使用，创造出高度逼真的虚拟人演讲或表演视频。
- 视频制作与编辑：在视频制作和编辑中，当需要更改角色台词或语言而不愿重新拍摄时，MuseTalk 提供了一个高效的解决方案。
- 教育和培训：在教育领域，MuseTalk 可以用于制作语言教学视频，帮助学习者更准确地学习语言发音和口型。
- 娱乐与社交媒体：内容创作者可以利用 MuseTalk 为照片或绘画作品添加口型动画，创造有趣的视频内容分享至社交媒体，为粉丝提供新颖的互动体验。
使用教程：（建议N卡，显存8G起）
上传一段驱动音频和一段参考视频，提交即可。
可手动设置bbox这个控制嘴巴张开幅度的参数，首次可不填，系统会根据参考视频推荐一直默认的范围，后期可以按照这个范围调整。
之前购买过老版本的用户，可以打开购买链接地址，链接1 和 链接2 ，免费获取最新版，下载链接里已经更新最新版下载链接。
批量生成使用说明：
解压一键包，依次打开 MuseTalk\configs\inference，用记事本或者其他编辑器打开 test.yaml
task_0:
video_path: "data/video/1.mp4"
audio_path: "data/audio/1.wav"
bbox_shift: -7
task_1:
video_path: "data/video/2.mp4"
audio_path: "data/audio/2.wav"
bbox_shift: -7
一个视频对应一个task，以此类推，把所有的素材放到一个目录里，比如存放在data下的video和audio，一个存放视频，一个存放音频，注意视频和音频文件名不要搞错了。
bbox就是控制嘴巴张开幅度的。
配置完成后，保存。
最后启动 一键启动批量处理，等待完成。
下载地址：（下载前，请先阅读 使用说明 再下载，避免不必要的问题和纠纷）
夸克网盘：游客， 上上宾会员可免费下载该资源， 点此开通上上宾 免费下载全站99%的付费资源。或单独支付 99碎银 下载该资源 立即购买
百度网盘：游客， 上上宾会员可免费下载该资源， 点此开通上上宾 免费下载全站99%的付费资源。或单独支付 99碎银 下载该资源 立即购买
解压密码：https://deepface.cc/ 复制这个完整的网址即是解压密码，不要有空格，复制粘贴即可。
| 
发表于 2025-1-27 10:54:49
发表于 2025-1-27 12:44:24