无言以对 发表于 2023-10-28 08:36:58

DeepFaceLab模型训练进阶玩法

这是圈内流传的一份“攻略”,国外玩家整理的。
不适合新手,需要提升的可以参考下,有点教条化,完全跟着走可能会走火,所以根据自己的情况来定,参考下就行了,可能对你的模型训练有所提升。

前提条件是你的src素材质量非常高,否则不要用这个“攻略”,不然会炸丹。



参数开关第一阶段第二阶段第三阶段第四阶段第五阶段第六阶段第七阶段第八阶段完成阶段
SRC随机反转:Flip SRC faces randonly (不太建议使用)关闭关闭关闭关闭关闭关闭关闭关闭关闭
DST随机反转:Flip Dst faces randomly (素材较少时建   常开)开启开启开启开启开启开启开启开启开启
批量大小:Batch Size(如模型崩溃,请尝试降低此参数至正常运行)4/88/168/168/168/168/168/16推荐168/16
训练遮罩:Masked training (建议全程开启)开启开启开启开启开启开启开启开启开启
眼嘴优先:Eyes and mouth priority关闭开启关闭关闭关闭开启关闭关闭开启
侧脸优化:Uniform yaw distribution of samples关闭关闭开启开启关闭关闭开启关闭开启
遮罩边掾模糊:Blur out mask (建议中后期开启)关闭关闭关闭关闭开启开启开启关闭开启
模型和优化器放GPU上: Place models and optimizer on GPU开启开启开启开启开启开启开启开启开启
AB优化器:Use AdaBelief optimizer (建议全程开启)开启开启开启开启开启开启开启开启开启
学习率下降:Use learning rate dropout关闭关闭关闭开启关闭关闭关闭开启关闭
随机扭曲:Enable random warp of samples开启开启开启开启关闭关闭关闭关闭关闭
随机色调/饱和度/光强度关闭关闭关闭关闭0.010.010.01关闭关闭
Gan强度:GAN power(容易崩溃,跑出想要效果后及时关闭)关闭关闭关闭关闭关闭关闭关闭0.01关闭
真睑强度: 'True face' power关闭关闭关闭关闭0.010.010.01关闭关闭
背景强度:Background style power关闭关闭关闭关闭0.010.010.01关闭0.01
颜色转换模式:Color transfer for src facesetnonenonenonenonerct/lctrct/lctrct/lctrct/lctrct/lct
梯度剪裁:Enable gradient clipping开启开启开启开启开启开启开启开启开启
预训练(无需开启)关闭关闭关闭关闭关闭关闭关闭关闭关闭
阶段转换条件,主要看预压窗口效果建议每次调整参数前都先备份好模型文件loss<0.3或loss极慢或不降反升loss<0.3或
不降反升loss<0.1或
不降反升loss极慢或
不降反升loss极慢或
不降反升loss极慢或不降反升注意备份
至少2-3W
不降反升




第一快速成型阶段:
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,(SRC素材不足的开,足够的和有脸部特征,比如美人痣之类的不要开SRC反转。)
开启:DST随即反转:Flip DST faces randomly
BS值:推荐4或8(根据实际情况而定)
关闭:眼嘴优先:Eyes and mouth priority
关闭:侧脸优化 Uniform yaw distribution of samples
关闭:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?
关闭:学习率下降 Use learning rate dropout
开启:样本随机扭曲:Enable random warp of samples
关闭:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)选择值:0
关闭:GAN强度 GAN power选择值:0
关闭:真脸强度 True face' power   选择值:0
关闭:背景风格强度 Background style power选择值:0
关闭:颜色转换模式 Color transfer for src faceset选择值:none
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
loss值达到0.4-0.5或者有时间和条件的可以训练的更低至0.1,并模型自动保存3-4次时的loss值显示下降速度很慢,或者反弹时可以停止。

第二精确处理阶段:
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
开启:眼嘴优先:Eyes and mouth priority
关闭:侧脸优化 Uniform yaw distribution of samples
关闭:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?
关闭:学习率下降 Use learning rate dropout
开启:样本随机扭曲:Enable random warp of samples
关闭:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)选择值:0
关闭:GAN强度 GAN power选择值:0
关闭:真脸强度 True face' power   选择值:0
关闭:背景风格强度 Background style power选择值:0
关闭:颜色转换模式 Color transfer for src faceset选择值:none
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
保持参数训练loss值降的很少,或反弹停止

第三精确处理阶段:
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
关闭:眼嘴优先:Eyes and mouth priority
开启:侧脸优化 Uniform yaw distribution of samples
关闭:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?关闭:学习率下降 Use learning rate dropout
开启:样本随机扭曲:Enable random warp of samples
关闭:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)选择值:0
关闭:GAN强度 GAN power选择值:0
关闭:真脸强度 True face' power   选择值:0
关闭:背景风格强度 Background style power选择值:0
关闭:颜色转换模式 Color transfer for src faceset选择值:none
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
训练loss值降到0.3及以下,或降的很少或反弹,停止。

第四精确处理阶段:
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
关闭:眼嘴优先:Eyes and mouth priority
开启:侧脸优化 Uniform yaw distribution of samples
关闭:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?
开启:学习率下降 Use learning rate dropout
开启:样本随机扭曲:Enable random warp of samples
关闭:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)选择值:0
关闭:GAN强度 GAN power选择值:0
关闭:真脸强度 True face' power   选择值:0
关闭:背景风格强度 Background style power选择值:0
关闭:颜色转换模式 Color transfer for src faceset选择值:none
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
训练loss值降到0.1及以下,或降的很少或反弹,停止。

第五精确优化阶段:
这时loss值已经下降很慢,或者下降不下去并且看起来不足够像SRC,进行这一步
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
关闭:眼嘴优先:Eyes and mouth priority
关闭:侧脸优化 Uniform yaw distribution of samples
开启:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?
关闭:学习率下降 Use learning rate dropout
关闭:样本随机扭曲:Enable random warp of samples
开启:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可) 推荐0.01
关闭:GAN强度 GAN power选择值:0
开启:真脸强度 True face' power   推荐值:0.01
开启:背景风格强度 Background style power 推荐值:0.01
开启:颜色转换模式 Color transfer for src faceset 推荐值:rct或lct
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
(此阶段开启:模糊遮罩边缘Blur out mask和背景风格强度 Background style power是因为开启了:真脸强度 True face' power,如果RSC脸型没有DST脸大,就会出现SRC脸下巴,下面又有个DST的下巴,或者SRC侧脸边上又有个DST的侧脸。开启这两个参数,会让融合的更好。)
此阶段loss值下降过慢或下不去后停止

第六精确优化阶段:
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
开启:眼嘴优先:Eyes and mouth priority
关闭:侧脸优化 Uniform yaw distribution of samples
开启:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?
关闭:学习率下降 Use learning rate dropout
关闭:样本随机扭曲:Enable random warp of samples
开启:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可) 推荐0.01
关闭:GAN强度 GAN power选择值:0
开启:真脸强度 True face' power   推荐值:0.01
开启:背景风格强度 Background style power 推荐值:0.01
开启:颜色转换模式 Color transfer for src faceset 推荐值:rct或lct
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
此阶段loss值下降过慢或下不去后停止

第七精确优化阶段:
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
关闭:眼嘴优先:Eyes and mouth priority
开启:侧脸优化 Uniform yaw distribution of samples
开启:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?
关闭:学习率下降 Use learning rate dropout
关闭:样本随机扭曲:Enable random warp of samples
开启:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可) 推荐0.01
关闭:GAN强度 GAN power选择值:0
开启:真脸强度 True face' power   推荐值:0.01
开启:背景风格强度 Background style power 推荐值:0.01
开启:颜色转换模式 Color transfer for src faceset 推荐值:rct或lct
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
此阶段loss值下降过慢或下不去后停止

第八精细处理阶段:
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转
开启:DST随即反转:Flip DST faces randomly
BS值:推荐16(根据实际情况而定)
关闭:眼嘴优先:Eyes and mouth priority
关闭:侧脸优化 Uniform yaw distribution of samples
关闭:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?
开启:学习率下降 Use learning rate dropout
关闭:样本随机扭曲:Enable random warp of samples
关闭:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可) 选择值:0
开启:GAN强度 GAN power推荐值:0.01
关闭:真脸强度 True face' power   选择值:0
关闭:背景风格强度 Background style power 选择值:0
开启:颜色转换模式 Color transfer for src faceset 推荐值:rct或lct
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练
此阶段注意备份,以免崩溃。代送次数最少2W-3W,根据实际情况而定

完成阶段:
所有阶段完成后平时换视频使用以下参数
开启:遮罩训练:Masked training
开启或关闭:SRC随机反转:Flip SRC faces randomly,SRC有脸部特征,比如美人痣之类的不要开SRC反转
开启:DST随即反转:Flip DST faces randomly
BS值:推荐8或16(根据实际情况而定)
开启:眼嘴优先:Eyes and mouth priority
开启:侧脸优化 Uniform yaw distribution of samples
开启:模糊遮罩边缘Blur out mask
开启:模型和优化器运行在GPU上:Place models and optimizer on GPU
开启:启用 AdaBelief 优化器?:Use AdaBelief optimizer?
关闭:学习率下降 Use learning rate dropout
关闭:样本随机扭曲:Enable random warp of samples
开启:随机色调/饱和度/光强度(这段没英文,不知道英文名称按照本人的开启顺序即可)选择值:0.01
关闭:GAN强度 GAN power选择值:0
关闭:真脸强度 True face' power   选择值:0
开启:背景风格强度 Background style power选择值:0.01
开启:颜色转换模式 Color transfer for src faceset选择值:rct或lct
开启:梯度剪裁:Enable gradient clipping
关闭:启用预训练


sss777 发表于 2023-11-1 12:25:27

正需要这个,
页: [1]
查看完整版本: DeepFaceLab模型训练进阶玩法