马上注册,下载更多AI资源软件
您需要 登录 才可以下载或查看,没有账号?立即注册
×
Wan2.2-Animate V3版 - 一键替换视频角色生成动作及表情同步动画视频 支持50系显卡 ComfyUI工作流 一键整合 ...
Wan2.2-Animate 是一个由阿里巴巴通义实验室开发的AI动画生成工具,它能通过一段真人表演视频,让任何静态角色“活”起来,精准复现表演者的表情和动作,生成逼真的动画视频。
Wan2.2-Animate 支持驱动人物、动漫形象和动物照片,可应用于短视频创作、舞蹈模板生成、动漫制作等领域。只需要上传一张静态人物照片,加一段参考视频,即可实现静态图像无缝替换视频中的人物,并实现视频统一的动作和表情同步迁移。
今天分享的 Wan2.2-Animate V3版,基于国外社区大佬Vantage with AI的工作流整合,新增多个扩展功能:支持多背景选项;支持外部面部音视频控制生成动画视频;根据部分会员建议,使用精度更低的GGUF量化模型,适配甜品显卡使用。
具体如下:
选择背景——来自输入图像、控制视频、静态图像或背景视频
使用外部面部视频实现逼真的口型和表情
音频控制:优先选择自定义、面部、背景或控制视频音频
使用精度更低的GGUF模型适配低端甜品显卡
核心特点
高度真实的角色动画:Wan-Animate可以根据一段真实人物的表演视频,精确复制这个人的面部表情和动作,然后将其应用到任何角色图像上,生成非常逼真、富有表现力的角色视频。
角色替换与无缝环境融合:这项技术不仅能动画化角色,还能将动画后的角色无缝集成到参考视频中,替换掉原来的角色。它会复制场景的光照和色调,让新角色看起来就像是原本就在那个环境里一样。
灵活的控制与表达:通过使用空间对齐的骨架信号来复制身体动作,以及从源图像中提取的隐含面部特征来重现表情,Wan-Animate让生成的角色视频具有高度的可控性和表现力。
先进的辅助光照模块:为了增强角色替换时的环境融合度,Wan-Animate还开发了一个辅助光照LoRA模块。这个模块能在保持角色外观一致性的同时,应用适当的环境光照和色调。
应用领域
影视制作:在电影、电视剧或动画制作中,Wan-Animate可以快速生成或修改角色动画,降低制作成本和时间。
游戏开发:游戏开发者可以利用这项技术来创建更真实、更生动的角色动画,提升玩家的游戏体验。
虚拟偶像与直播:在虚拟偶像表演或在线直播中,Wan-Animate可以实时驱动虚拟角色的动作和表情,增加互动性和趣味性。
广告与营销:广告商可以利用这项技术来创建吸引人的角色动画,用于产品推广或品牌宣传。
使用教程:(建议N卡,显存8G起,支持50系显卡,本地需CUDA≥12.8)
整合包包含所需所有节点,下载主程序和模型(ComfyUI文件夹即为模型),解压主程序一键包,将ComfyUI文件夹移动到主程序目录下即可。
双击启动,进入WebUI后,点击左侧的 工作流程,选择对应的工作流
上传一张需要替换的照片(支持人物、动漫和动物)及一个参考视频,手动设置生成视频的宽度和高度(建议图片和参考视频使用相同的比例),运行即可。
这个版本我放了三个模型,一个KJ版的fp8,两个gguf。第一个效果更好,需要16G显存起,另外二个gguf效果略差,Wan2.2-Animate-14B-Q4_K_S.gguf需要10G显存(实测8G显存也能可以运行,速度略慢),Wan2.2-Animate-14B-Q4_K_M.gguf,需要12G显存起。只需要在“模型加载”模块,WanVideo Model Loader节点切换即可。
如果硬件条件好,建议还是使用KJ的fp8版模型,效果更好
默认开启sageattention加速,需要安装VC编译环境(安装教程在新手必看里找),否则请关闭sage选择sdpa模式
控制开关默认关闭,关闭状态直接生成参考图和控制视频的同步动画视频。仅开启“背景选项”则为一键替换视频角色生成同步动画视频。如需更换视频背景为自定义图像和视频背景,则开启对应开关即可。
下载地址:
主程序:https://pan.quark.cn/s/06f02d62a23d
模型:https://pan.quark.cn/s/c595d56908a7
|