今天分享的这个实际上是在原有Wav2Lip项目的基础上进行优化的,而部署下来中我也发现很多问题,例如缓存、界面、执行效率问题等,并针对性的做了优化。

温馨提示,需要有独立显卡,N卡才能用,CPU和A卡就别下了。
不解答任何软件使用问题,请确认会用再下载!
报错问题请在此跟帖,贴出报错内容,看到后会回复。
如报错“未找到文件”,请参考此贴设置 点击进入
如果遇到生成后出现其他的人脸的现象,删除目录下 last_detected_face.pkl 这个文件,重新生成即可!
如果遇到提示找不到指定文件错误,请手动设置ffmpeg环境变量,具体站内搜索,有相关教程。
如果使用自己录制的视频做素材,建议不要张嘴说话,只做一些简单的点头表情等,不需要张嘴说话。素材帧率选择25帧为最佳效果,视频分辨率不要超过1080P.
如果你想要更好的效果,目前开源里效果最好的数字人,也只有腾讯的MuseTalk了,点此进入
准备需要准备音频和视频文件。 音频文件: 视频文件: 提示:该版本支持批量。批量支持多段视频多段音频、多段视频单段音频。 举个例子: - 你有3个视频,3段音频,那么会按照你选择的顺序视频1对应音频1、视频2对应音频2进行处理。
- 你有3个视频,1段音频,那么会按照你上传的所有视频都对应这个音频进行处理。视频1对应音频1、视频2对应音频1、视频3对应音频3。
开始处理最简单的方式: 将视频和音频拖拽到对应的文件框内,点击开始生成,完毕!
Easy-wav2lip 离线一键批量数字人制作工具!(附一键包+教程)
如果你想深入了解各个参数的作用,请继续往下看!
参数详解
视频质量:Fast快速:Wav2Lip音频转口型模式。 Improved改进:Wav2Lip音频转口型模式 +唇部周围带有遮罩羽化,去除唇部周围边框。 Enhanced增强:Wav2Lip音频转口型模式 + 遮罩羽化 + GFPGAN高清脸部增强 Experimental实验性:在增强的模式上优化执行效率。

如果不是机器配置太差默认推荐选 Enhanced 和 Experimental
分辨率选项full resolution全分辨率 half resolution半分辨率 注意: 测试下来半分辨率会在某些情况下存在不兼容问题,建议这个选项选全分辨率 Wav2Lip版本选项Wav2Lip 优点:更准确的口型同步、在没有声音时会保持嘴巴闭合。 缺点:有时会产生牙齿缺失(部分情况下)。 Wav2Lip_GAN 优点:效果看起来更好,保留说话者原有表情。 缺点:不太擅长遮盖原始的嘴唇动作,尤其是在没有声音的情况下。 建议: 先尝试 Wav2Lip,如果遇到口齿上有很大缝隙的效果,再切换到Wav2Lip_GAN版本。 启用脸部平滑启用后,wav2lip 将独立裁剪每个帧上的脸部。 适用于视频中的快速移动或剪辑。 如果脸部角度奇怪,可能会导致抽搐。 禁用后,wav2lip 会在 5 帧之间混合检测到的人脸位置。 适合缓慢移动,尤其是对于不常用角度的脸部。 当脸部在画面中快速移动时,嘴巴可能会偏移,在切割之间看起来很可怕。 Padding (填充): 此选项控制在每个方向上从面部裁剪中添加或删除的像素数。
此选项可以帮助去除下巴或脸部其他边缘的硬线条,但填充过多或过少都会改变嘴巴的大小或位置。通常的做法是在底部添加 10 个像素,建议尝试不同的值,找到最佳效果。
Mask遮罩部分
Easy-wav2lip 离线一键批量数字人制作工具!(附一键包+教程)
Mask尺寸将增加蒙版覆盖的区域的大小。(脸部周围有边框可以减少此数值,例如:1.5) Mask羽化决定了蒙版中心和边缘之间的混合量。(脸部周围有边框也可以增加此数值 ) 启用Mask嘴部跟踪会将遮罩的位置更新到嘴巴在每一帧上的位置(速度较慢) 注意: 由于帧被裁剪到脸上,嘴巴位置已经很近似了,只有当发现视频的遮罩似乎没有跟随嘴巴时,才启用此功能。 启用Mask调试开启后将使背景灰度和蒙版变彩色,可以看到蒙版在框架中的位置。(此参数改成True后,可以更直观的看到参数效果)
最后,推荐一个默认效果比较好的参数,大家也可以根据自己的素材自行调节: 视频质量选项:Enhanced 分辨率选项:full resolution Wav2Lip版本选项:Wav2Lip 启动追踪旧数据:True 启用脸部平滑:True 嘴部上边缘:0 嘴部下边缘:10 嘴部左边缘:0 嘴部右边缘:0 Mask尺寸:1 Mask羽化:1 启用嘴部追踪:True 启用调试:False
下载地址:
夸克网盘:https://pan.quark.cn/s/5f9a77b4da7b 解压密码:Easy-Wav2Lip@deepface.cc
百度网盘:游客, 上上宾会员可免费下载该资源, 点此开通上上宾 免费下载全站99%的付费资源。或单独支付 10碎银 下载该资源 立即购买
|