马上注册,下载更多AI资源软件
您需要 登录 才可以下载或查看,没有账号?立即注册
×
InfiniteTalk - 声音驱动图片生成高度逼真的说话/唱歌视频 支持50系显卡 ComfyUI工作流 一键整合包下载 ... ...
InfiniteTalk 是一个用声音驱动视频生成的AI工具,支持一张图像加音频生成逼真的说话及唱歌视频,能根据音频自动生成人物口型、表情、头部动作和身体姿态同步的逼真视频,支持无限时长生成,同时支持上传一张多人图像,生成多人对话视频。
今天分享的 InfiniteTalk 一键包,是应一位会员的要求制作,也是为了方便消费级显卡用户使用,实测使用4060Ti 16G显存显卡生成15s视频,使用480s。基于KJ大佬的提供工作流的改进,兼顾硬件和生成质量,选择了Q4-GGUF量化模型,效率更高。
核心特点
全能同步
模型能够精确地将音频与视频中的唇形进行同步,使人物说话时唇部动作与声音完美匹配,达到非常自然的效果
不仅对口型,还能同步头部转动、身体姿势和表情(比如微笑、皱眉)
传统配音工具只能调嘴唇,而它能让人物整体动作更自然
超长视频
突破1分钟限制,理论上可生成无限时长的视频(比如整场演讲或电影配音)
两种模式
视频+音频:给现有视频换配音(如外语影片重配中文)
图片+音频:用一张照片生成会说话的人物视频(适合虚拟主播)
高稳定性
比同类工具(如MultiTalk)更少出现手部扭曲或身体变形的问题
应用领域
影视制作与配音: 在影视制作中,InfiniteTalk 可以用于为角色重新配音,同时保持唇形和动作的同步,大大节省了后期制作的时间和成本。
在线教育: 在线教育平台可以利用 InfiniteTalk 生成教学视频,使教师形象更加生动,提高学生的学习兴趣和参与度。
虚拟主播与动画制作: 虚拟主播可以使用 InfiniteTalk 来驱动自己的虚拟形象,实现实时的语音和动作同步。同时,该模型也可用于动画制作,快速生成包含对话和动作的动画片段。
社交媒体与内容创作: 社交媒体上的内容创作者可以利用 InfiniteTalk 生成有趣的视频内容,如将静态图片转换为动态视频,增加内容的吸引力和互动性。
辅助沟通工具: 对于听力或言语障碍的人群,InfiniteTalk 可以作为一种辅助沟通工具,将文字或语音转换为包含唇形和动作的视频,帮助他们更好地与他人交流。
使用教程:(建议N卡,显存10G起,支持50系显卡)
整合包包含所需所有节点,下载主程序和模型(ComfyUI文件夹即为模型),解压主程序一键包,将ComfyUI文件夹移动到主程序目录下即可。
双击启动,进入WebUI后,点击左侧的 工作流程,选择对应的工作流(包含单人+多人+视频驱动视频三种模式),根据需要选择
默认只下载了单人模式的模型,其他两种模式, 选择工作流后,根据左侧的模型列表自行下载,并根据说明放到对应的模型目录,在工作流中切换即可。
上传图像加驱动音频,设置生成视频宽度和高度(宽度和高度必须是16的倍数),设置生成的帧数(时长),运行即可。
下载地址:
123云盘:https://www.123684.com/s/OYeA-N44Bh
夸克网盘:游客, 上上宾会员可免费下载该资源, 点此开通上上宾 免费下载全站99%的付费资源。或单独支付 66碎银 下载该资源 立即购买
|