用户名  找回密码
 立即注册
img_loading
智能检测中
查看: 16676|回复: 123

Easy-wav2lip 离线一键批量数字人制作工具!(附一键包+教程)

  [复制链接]

签到天数: 18 天

[LV.4]偶尔看看III

613

主题

744

回帖

4万

积分

武林盟主

积分
49093

宣传达人灌水之王突出贡献荣誉管理论坛元老

QQ
发表于 2024-4-2 08:40:45 | 显示全部楼层 |阅读模式
今天分享的这个实际上是在原有Wav2Lip项目的基础上进行优化的,而部署下来中我也发现很多问题,例如缓存、界面、执行效率问题等,并针对性的做了优化。


温馨提示,需要有独立显卡,N卡才能用,CPU和A卡就别下了。
不解答任何软件使用问题,请确认会用再下载!
报错问题请在此跟帖,贴出报错内容,看到后会回复。
如报错“未找到文件”,请参考此贴设置 点击进入

如果遇到生成后出现其他的人脸的现象,删除目录下 last_detected_face.pkl 这个文件,重新生成即可!
如果遇到提示找不到指定文件错误,请手动设置ffmpeg环境变量,具体站内搜索,有相关教程。
如果使用自己录制的视频做素材,建议不要张嘴说话,只做一些简单的点头表情等,不需要张嘴说话。素材帧率选择25帧为最佳效果,视频分辨率不要超过1080P.


如果你想要更好的效果,目前开源里效果最好的数字人,也只有腾讯的MuseTalk了,点此进入

准备
需要准备音频和视频文件。
音频文件:
  • 建议音频长度与视频的长度相同(比如你是10秒钟的视频,那么你的音频长度建议是10秒。如果音频长度比视频长度长,视频会自动向后循环延长)。
  • 音频文件格式:wav 和mp3

视频文件:
  • 你选择的视频帧中必须都有一张脸,否则将报错。(比如你视频总时长10秒,中间有2秒没有人脸的画面,就会报错)
  • 推荐H264编码的mp4视频格式

提示:该版本支持批量。批量支持多段视频多段音频、多段视频单段音频。
举个例子:
  • 你有3个视频,3段音频,那么会按照你选择的顺序视频1对应音频1、视频2对应音频2进行处理。
  • 你有3个视频,1段音频,那么会按照你上传的所有视频都对应这个音频进行处理。视频1对应音频1、视频2对应音频1、视频3对应音频3。



开始处理
最简单的方式:
将视频和音频拖拽到对应的文件框内,点击开始生成,完毕!

Easy-wav2lip 离线一键批量数字人制作工具!(附一键包+教程)

Easy-wav2lip 离线一键批量数字人制作工具!(附一键包+教程)


如果你想深入了解各个参数的作用,请继续往下看!

参数详解

视频质量:
Fast快速:Wav2Lip音频转口型模式。
Improved改进:Wav2Lip音频转口型模式 +唇部周围带有遮罩羽化,去除唇部周围边框。
Enhanced增强:Wav2Lip音频转口型模式 + 遮罩羽化 + GFPGAN高清脸部增强
Experimental实验性:在增强的模式上优化执行效率。



如果不是机器配置太差默认推荐选 Enhanced 和 Experimental

分辨率选项
full resolution全分辨率
half resolution半分辨率
注意:
测试下来半分辨率会在某些情况下存在不兼容问题,建议这个选项选全分辨率
Wav2Lip版本选项
Wav2Lip
优点:更准确的口型同步、在没有声音时会保持嘴巴闭合。
缺点:有时会产生牙齿缺失(部分情况下)。
Wav2Lip_GAN
优点:效果看起来更好,保留说话者原有表情。
缺点:不太擅长遮盖原始的嘴唇动作,尤其是在没有声音的情况下。
建议:
先尝试 Wav2Lip,如果遇到口齿上有很大缝隙的效果,再切换到Wav2Lip_GAN版本。
启用脸部平滑
启用后,wav2lip 将独立裁剪每个帧上的脸部。
适用于视频中的快速移动或剪辑。
如果脸部角度奇怪,可能会导致抽搐。
禁用后,wav2lip 会在 5 帧之间混合检测到的人脸位置。
适合缓慢移动,尤其是对于不常用角度的脸部。
当脸部在画面中快速移动时,嘴巴可能会偏移,在切割之间看起来很可怕。
Padding (填充):
此选项控制在每个方向上从面部裁剪中添加或删除的像素数。

640.png


此选项可以帮助去除下巴或脸部其他边缘的硬线条,但填充过多或过少都会改变嘴巴的大小或位置。通常的做法是在底部添加 10 个像素,建议尝试不同的值,找到最佳效果。

Mask遮罩部分


Easy-wav2lip 离线一键批量数字人制作工具!(附一键包+教程)

Easy-wav2lip 离线一键批量数字人制作工具!(附一键包+教程)


Mask尺寸
将增加蒙版覆盖的区域的大小。(脸部周围有边框可以减少此数值,例如:1.5)
Mask羽化
决定了蒙版中心和边缘之间的混合量。(脸部周围有边框也可以增加此数值 )
启用Mask嘴部跟踪
会将遮罩的位置更新到嘴巴在每一帧上的位置(速度较慢)
注意:
由于帧被裁剪到脸上,嘴巴位置已经很近似了,只有当发现视频的遮罩似乎没有跟随嘴巴时,才启用此功能。
启用Mask调试
开启后将使背景灰度和蒙版变彩色,可以看到蒙版在框架中的位置。(此参数改成True后,可以更直观的看到参数效果)

最后,推荐一个默认效果比较好的参数,大家也可以根据自己的素材自行调节:
视频质量选项:Enhanced
分辨率选项:full resolution
Wav2Lip版本选项:Wav2Lip
启动追踪旧数据:True
启用脸部平滑:True
嘴部上边缘:0
嘴部下边缘:10
嘴部左边缘:0
嘴部右边缘:0
Mask尺寸:1
Mask羽化:1
启用嘴部追踪:True
启用调试:False



下载地址:
夸克网盘:https://pan.quark.cn/s/5f9a77b4da7b 解压密码:Easy-Wav2Lip@deepface.cc
百度网盘:
游客,上上宾会员可免费下载该资源,点此开通上上宾 免费下载全站99%的付费资源。或单独支付 10碎银 下载该资源立即购买


DEEPFACE论坛免责声明
本论坛发布的所有内容,包括图片、软件、模型等部分来自网络,版权归原作者所有。
本论坛提供的内容仅用于个人学习和研究,请勿滥用,否则由此引发的责任需自行承担。
请合理合法使用AI技术,并遵守当地法律法规,不要用于违法用途!
如本站发布内容侵犯了你的合法权益,请联系我们删除。

各种参数DFL换脸模型/实时换脸模型底丹、实时换脸模型训练教学/实时换脸模型定制、AI软件个性化定制
论坛所有一键包报错请在帖子下方跟帖,看到会回复,不支持一对一解答,请确认再下载!
全站默认解压密码: https://deepface.cc/ (密码就是这个网址,不要点开去找。复制完整网址即可,不要有空格)

签到天数: 18 天

[LV.4]偶尔看看III

613

主题

744

回帖

4万

积分

武林盟主

积分
49093

宣传达人灌水之王突出贡献荣誉管理论坛元老

QQ
 楼主| 发表于 2024-4-2 16:45:07 | 显示全部楼层
象征性收取10两碎银,实际免费分享。注册激活账号,登陆两天就有了。

各种参数DFL换脸模型/实时换脸模型底丹、实时换脸模型训练教学/实时换脸模型定制、AI软件个性化定制
论坛所有一键包报错请在帖子下方跟帖,看到会回复,不支持一对一解答,请确认再下载!
全站默认解压密码: https://deepface.cc/ (密码就是这个网址,不要点开去找。复制完整网址即可,不要有空格)

该用户从未签到

0

主题

2

回帖

11

积分

禁止发言

积分
11
发表于 2024-4-6 20:01:20 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

该用户从未签到

0

主题

5

回帖

16

积分

初入江湖

积分
16
发表于 2024-4-9 13:24:44 | 显示全部楼层
无言以对 发表于 2024-4-2 16:45
象征性收取10两碎银,实际免费分享。注册激活账号,登陆两天就有了。

解压密码是多少啊?我试了几遍都提示密码不对

点评

附件里有解压密码,亲测,密码没问题。  发表于 2024-4-9 14:56

该用户从未签到

0

主题

1

回帖

8

积分

初入江湖

积分
8
发表于 2024-4-10 16:28:31 | 显示全部楼层
[url=https://deepface.cc/static/image/smiley/default/smile.gif]https://deepface.

该用户从未签到

0

主题

3

回帖

10

积分

禁止访问

积分
10
发表于 2024-4-11 10:53:53 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

该用户从未签到

0

主题

3

回帖

10

积分

禁止访问

积分
10
发表于 2024-4-11 10:57:59 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

该用户从未签到

0

主题

4

回帖

24

积分

初入江湖

积分
24
发表于 2024-4-18 13:11:50 | 显示全部楼层
谢谢分享!

该用户从未签到

0

主题

1

回帖

16

积分

初入江湖

积分
16
发表于 2024-4-19 11:39:12 | 显示全部楼层
报错:未找到文件

该用户从未签到

0

主题

1

回帖

18

积分

初入江湖

积分
18

突出贡献

发表于 2024-4-30 09:51:27 | 显示全部楼层
报错未找到文件怎么处理
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|AIGC资源站

GMT+8, 2025-4-25 12:42 , Processed in 0.091307 second(s), 7 queries , Redis On.

Powered by Discuz! X3.5

©2001-2023 Discuz! Team

快速回复 返回顶部 返回列表